Diffusers 潛空間一致性蒸餾Latent Consistency Distillation完整訓(xùn)練指南從 Stable Diffusion 教師模型到少步數(shù) LCM【免費(fèi)下載鏈接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/di/diffusers潛空間一致性模型Latent Consistency ModelsLCM將傳統(tǒng)擴(kuò)散模型的數(shù)十步去噪壓縮到 48 步即可生成高質(zhì)量圖像。本文基于 Diffusers 倉(cāng)庫(kù)中的官方訓(xùn)練指南 lcm_distill.md 及示例腳本 train_lcm_distill_sd_wds.py系統(tǒng)講解如何對(duì) Stable Diffusion 教師模型執(zhí)行潛空間一致性蒸餾覆蓋原理、環(huán)境搭建、參數(shù)解析、訓(xùn)練循環(huán)逐步拆解、完整啟動(dòng)命令、推理以及 LCM-LoRA 與 SDXL 變體幫助讀者獨(dú)立訓(xùn)練出屬于自己的少步數(shù)推理模型。LCM 蒸餾的核心原理Latent Consistency ModelsLCM之所以能在極少步數(shù)內(nèi)生成高質(zhì)量圖像是因?yàn)槠溆?xùn)練方法——潛空間一致性蒸餾Latent Consistency DistillationLCD——直接作用于擴(kuò)散模型的潛空間latent space。傳統(tǒng)擴(kuò)散管線通常需要 25 步以上去噪而 LCM 顯著改變了這一局面。蒸餾過(guò)程包含兩個(gè)關(guān)鍵技術(shù)手段對(duì)應(yīng)論文 4.1、4.2、4.3 節(jié)單階段引導(dǎo)蒸餾one-stage guided distillation讓學(xué)生模型直接學(xué)習(xí)從任意噪聲點(diǎn)一步預(yù)測(cè)干凈樣本的一致性映射而不是像普通蒸餾那樣逐步模仿教師軌跡跳步方法skipping-step在蒸餾過(guò)程中刻意跳過(guò)部分時(shí)間步讓一致性訓(xùn)練更高效地覆蓋整個(gè)采樣軌跡。在倉(cāng)庫(kù)的示例腳本中這兩點(diǎn)分別體現(xiàn)在邊界縮放系數(shù)boundary scalings計(jì)算與DDIM ODE 求解器的構(gòu)造上下文訓(xùn)練循環(huán)部分會(huì)詳細(xì)展開(kāi)。環(huán)境準(zhǔn)備與依賴安裝從源碼安裝 Diffusers示例腳本隨倉(cāng)庫(kù)持續(xù)更新官方推薦從源碼安裝以保證腳本與庫(kù)版本匹配。在當(dāng)前倉(cāng)庫(kù)環(huán)境下執(zhí)行g(shù)it clone https://github.com/huggingface/diffusers cd diffusers pip install .安裝訓(xùn)練依賴進(jìn)入示例目錄并安裝該腳本所需的依賴cd examples/consistency_distillation pip install -r requirements.txtrequirements.txt 中聲明的核心依賴包括依賴版本要求用途accelerate0.16.0多卡 / 混合精度訓(xùn)練調(diào)度transformers4.25.1CLIP 文本編碼器與分詞器webdataset無(wú)WebDataset 流式數(shù)據(jù)讀取torchvision無(wú)圖像預(yù)處理變換ftfy/Jinja2無(wú)文本清洗與模板tensorboard無(wú)訓(xùn)練日志可視化若使用 LoRA 腳本還需另行安裝peft使用 8-bit Adam 優(yōu)化器時(shí)需要bitsandbytes。配置 Accelerate 環(huán)境 Accelerate 負(fù)責(zé)根據(jù)硬件自動(dòng)配置多 GPU / TPU 訓(xùn)練與混合精度。有幾種初始化方式交互式配置推薦可啟用torch.compile顯著加速訓(xùn)練accelerate config使用默認(rèn)配置不回答任何提問(wèn)accelerate config default在筆記本等不支持交互式 Shell 的環(huán)境中用 Python 方式寫入基礎(chǔ)配置from accelerate.utils import write_basic_config write_basic_config()[!TIP] 若你的 GPU 顯存有限可開(kāi)啟--gradient_checkpointing梯度檢查點(diǎn)、--gradient_accumulation_steps梯度累積與--mixed_precision混合精度來(lái)降低顯存占用并加速訓(xùn)練進(jìn)一步可通過(guò) xFormers 內(nèi)存高效注意力 與 bitsandbytes 8-bit 優(yōu)化器--use_8bit_adam繼續(xù)壓減顯存。訓(xùn)練腳本參數(shù)全解全部參數(shù)定義集中在 parse_args() 函數(shù)中每個(gè)參數(shù)都有默認(rèn)值。其中絕大多數(shù)參數(shù)與 Text-to-image 訓(xùn)練指南 中一致如--train_batch_size默認(rèn) 16、--learning_rate默認(rèn) 1e-4、--resolution默認(rèn) 512、--lr_scheduler默認(rèn)constant、--adam_beta1默認(rèn) 0.9 等本文聚焦于潛空間一致性蒸餾特有的參數(shù)參數(shù)默認(rèn)值說(shuō)明--pretrained_teacher_model無(wú)必填教師模型路徑即待蒸餾的預(yù)訓(xùn)練潛在擴(kuò)散模型如 stable-diffusion-v1-5--pretrained_vae_model_name_or_pathNone替代 VAE 路徑。SDXL 自帶 VAE 存在數(shù)值不穩(wěn)定問(wèn)題可用 madebyollin 的 fp16 修復(fù)版 VAE 替代使其在 fp16 下穩(wěn)定工作--w_min/--w_max5.0/15.0引導(dǎo)尺度guidance scale采樣的最小 / 最大值訓(xùn)練時(shí)從U[w_min, w_max]均勻采樣。注意腳本采用 Imagen CFG 公式所有引導(dǎo)尺度相比原論文都加了 1--num_ddim_timesteps50DDIM 采樣使用的時(shí)間步數(shù)量決定 ODE 求解器軌跡的離散粒度--loss_typel2蒸餾損失類型可選l2或huber。Huber 損失對(duì)離群點(diǎn)更魯棒實(shí)踐上更受推薦--huber_c0.001Huber 損失參數(shù)僅當(dāng)--loss_typehuber時(shí)生效--unet_time_cond_proj_dim256學(xué)生 U-Net 中引導(dǎo)尺度嵌入time_cond_proj的維度當(dāng)教師 U-Net 未配置time_cond_proj_dim時(shí)使用--timestep_scaling_factor10.0計(jì)算 LCM 邊界縮放時(shí)的乘法時(shí)間步縮放因子。取值越大近似誤差越小默認(rèn) 10.0 通常足夠--vae_encode_batch_size32VAE 編碼 / 解碼圖像的批大小。一次性編碼整個(gè) batch 可能 OOM拆小批處理更穩(wěn)妥--ema_decay0.95目標(biāo)學(xué)生模型target student U-Net的指數(shù)移動(dòng)平均衰減率--cast_teacher_unetFalse是否將教師 U-Net 轉(zhuǎn)換為--mixed_precision指定的精度--teacher_revisionNone教師模型的 revision用于從 Hub 拉取指定版本--proportion_empty_prompts0將圖像提示替換為空字符串的比例01配合 CFG 無(wú)條件分支使用--allow_tf32False是否在 Ampere GPU 上啟用 TF32 以加速訓(xùn)練此外訓(xùn)練常規(guī)參數(shù)還包括--output_dir默認(rèn)lcm-xl-distilled、--checkpointing_steps默認(rèn) 500、--checkpoints_total_limit、--resume_from_checkpoint支持latest自動(dòng)選擇最新檢查點(diǎn)、--report_totensorboard/wandb/comet_ml、--validation_steps默認(rèn) 200、--push_to_hub、--hub_model_id、--seed等。例如僅需在啟動(dòng)命令中加入以下參數(shù)即可開(kāi)啟 fp16 混合精度加速訓(xùn)練accelerate launch train_lcm_distill_sd_wds.py \ --mixed_precisionfp16訓(xùn)練腳本逐步拆解數(shù)據(jù)集類與 WebDataset 預(yù)處理流水線腳本首先定義數(shù)據(jù)集類SDText2ImageDataset源碼 train_lcm_distill_sd_wds.py負(fù)責(zé)圖像預(yù)處理與訓(xùn)練數(shù)據(jù)集構(gòu)建。核心的圖像變換邏輯如下def transform(example): image example[image] image TF.resize(image, resolution, interpolationinterpolation_mode) c_top, c_left, _, _ transforms.RandomCrop.get_params(image, output_size(resolution, resolution)) image TF.crop(image, c_top, c_left, resolution, resolution) image TF.to_tensor(image) image TF.normalize(image, [0.5], [0.5]) example[image] image return example即先縮放到目標(biāo)分辨率再做隨機(jī)裁剪最后歸一化到[-1, 1]。插值方式由--interpolation_type控制可選bilinear、bicubic、box、nearest、nearest_exact、hamming、lanczos。針對(duì)云端大規(guī)模數(shù)據(jù)集腳本采用WebDataset 格式構(gòu)建流式預(yù)處理流水線——圖像按需解碼、處理后直接進(jìn)入訓(xùn)練循環(huán)無(wú)需預(yù)先下載整個(gè)數(shù)據(jù)集processing_pipeline [ wds.decode(pil, handlerwds.ignore_and_continue), wds.rename(imagejpg;png;jpeg;webp, texttext;txt;caption, handlerwds.warn_and_continue), wds.map(filter_keys({image, text})), wds.map(transform), wds.to_tuple(image, text), ]該流水線依次完成PIL 解碼忽略壞樣本、按擴(kuò)展名重命名字段、過(guò)濾僅保留image/text、應(yīng)用變換、輸出元組。數(shù)據(jù)管線再經(jīng)由wds.ResampledShards無(wú)限重采樣分片、tarfile_to_samples_nothrow容錯(cuò)解包 tar 分片、wds.shuffle1000 樣本洗牌緩沖與wds.batched組裝成wds.WebLoader。值得注意腳本對(duì) webdataset 默認(rèn)的group_by_keys做了不拋異常的重新實(shí)現(xiàn)group_by_keys_nothrow避免個(gè)別損壞樣本中斷整個(gè)訓(xùn)練。組件加載與學(xué)生網(wǎng)絡(luò)創(chuàng)建在 main() 函數(shù)中依次完成組件裝配從教師模型加載DDPMScheduler并由其alphas_cumprod推導(dǎo)出alpha_schedule sqrt(alphas_cumprod)與sigma_schedule sqrt(1 - alphas_cumprod)實(shí)例化DDIMSolver源碼 L394-L418它基于離散化的 DDIM 時(shí)間步預(yù)先計(jì)算alpha_cumprod與前一時(shí)刻的alpha_cumprod_prev供訓(xùn)練中單步 ODE 求解使用加載分詞器AutoTokenizer、文本編碼器CLIPTextModel與 VAEAutoencoderKL加載教師 U-Net并凍結(jié) VAE、文本編碼器與教師 U-Netrequires_grad_(False)創(chuàng)建在線學(xué)生 U-Net由優(yōu)化器更新若教師 U-Net 沒(méi)有time_cond_proj_dim配置則按--unet_time_cond_proj_dim添加引導(dǎo)尺度嵌入投影層再?gòu)慕處煓?quán)重初始化teacher_unet UNet2DConditionModel.from_pretrained( args.pretrained_teacher_model, subfolderunet, revisionargs.teacher_revision ) time_cond_proj_dim ( teacher_unet.config.time_cond_proj_dim if teacher_unet.config.time_cond_proj_dim is not None else args.unet_time_cond_proj_dim ) unet UNet2DConditionModel.from_config(teacher_unet.config, time_cond_proj_dimtime_cond_proj_dim) unet.load_state_dict(teacher_unet.state_dict(), strictFalse) unet.train()創(chuàng)建目標(biāo)學(xué)生 U-Nettarget student由在線學(xué)生網(wǎng)絡(luò)初始化之后只通過(guò) EMAPolyak 平均更新、不參與梯度計(jì)算target_unet UNet2DConditionModel.from_config(unet.config) target_unet.load_state_dict(unet.state_dict()) target_unet.train() target_unet.requires_grad_(False)EMA 更新邏輯位于 update_ema()每個(gè)同步梯度步后target rate * target (1 - rate) * online衰減率由--ema_decay控制默認(rèn) 0.95。優(yōu)化器與數(shù)據(jù)集裝配優(yōu)化器只作用于在線學(xué)生 U-Net 參數(shù)源碼 L1063-L1070optimizer optimizer_class( unet.parameters(), lrargs.learning_rate, betas(args.adam_beta1, args.adam_beta2), weight_decayargs.adam_weight_decay, epsargs.adam_epsilon, )其中optimizer_class在啟用--use_8bit_adam時(shí)為bnb.optim.AdamW8bit否則為torch.optim.AdamW。數(shù)據(jù)集創(chuàng)建源碼 L1079-L1091dataset SDText2ImageDataset( train_shards_path_or_urlargs.train_shards_path_or_url, num_train_examplesargs.max_train_samples, per_gpu_batch_sizeargs.train_batch_size, global_batch_sizeargs.train_batch_size * accelerator.num_processes, num_workersargs.dataloader_num_workers, resolutionargs.resolution, interpolation_typeargs.interpolation_type, shuffle_buffer_size1000, pin_memoryTrue, persistent_workersTrue, ) train_dataloader dataset.train_dataloader注意Accelerator構(gòu)造時(shí)設(shè)置了split_batchesTrue——這對(duì) webdataset 至關(guān)重要否則學(xué)習(xí)率調(diào)度的步數(shù)計(jì)算會(huì)因批次被多進(jìn)程拆分而出錯(cuò)。訓(xùn)練循環(huán)中的一致性蒸餾實(shí)現(xiàn)訓(xùn)練循環(huán)源碼 L1185 起對(duì)應(yīng)論文 Algorithm 1 的完整流程每一步驟如下① 潛變量編碼。圖像像素值以不超過(guò)--vae_encode_batch_size的批大小送入 VAE 編碼器采樣潛變量后乘以vae.config.scaling_factor。② 時(shí)間步采樣與跳步。先按topk num_train_timesteps // num_ddim_timesteps計(jì)算跳步間隔再?gòu)膎um_ddim_timesteps個(gè)離散 ODE 步中均勻隨機(jī)采樣起點(diǎn)start_timesteps目標(biāo)時(shí)間步為timesteps start_timesteps - topk小于 0 時(shí)截?cái)酁?0——這就是跳步加速蒸餾的體現(xiàn)。③ 邊界縮放。調(diào)用 scalings_for_boundary_conditions()與LCMScheduler.get_scalings_for_boundary_condition_discrete同源計(jì)算起點(diǎn)與終點(diǎn)的c_skip、c_outdef scalings_for_boundary_conditions(timestep, sigma_data0.5, timestep_scaling10.0): scaled_timestep timestep_scaling * timestep c_skip sigma_data**2 / (scaled_timestep**2 sigma_data**2) c_out scaled_timestep / (scaled_timestep**2 sigma_data**2) ** 0.5 return c_skip, c_out④ 加噪。采樣高斯噪聲并執(zhí)行前向擴(kuò)散noisy_model_input noise_scheduler.add_noise(latents, noise, start_timesteps)。⑤ 引導(dǎo)尺度采樣與嵌入。從U[w_min, w_max]均勻采樣引導(dǎo)尺度w再由 guidance_scale_embedding()源自LatentConsistencyModel.get_guidance_scale_embedding與 VDM 同源的正余弦位置編碼生成維度為time_cond_proj_dim的引導(dǎo)尺度嵌入作為timestep_cond輸入 U-Net。⑥ 在線學(xué)生預(yù)測(cè)。學(xué)生 U-Net 在加噪潛變量z_{t_{nk}}上輸出噪聲預(yù)測(cè)再結(jié)合預(yù)測(cè)類型epsilon/sample/v_prediction通過(guò)get_predicted_original_sample還原原始樣本預(yù)測(cè)最終合成一致性模型輸出pred_x_0 get_predicted_original_sample( noise_pred, start_timesteps, noisy_model_input, noise_scheduler.config.prediction_type, alpha_schedule, sigma_schedule, ) model_pred c_skip_start * noisy_model_input c_out_start * pred_x_0⑦ 教師 CFG 預(yù)測(cè)與 ODE 求解。在torch.no_grad()下教師 U-Net 分別對(duì)條件嵌入與無(wú)條件嵌入做預(yù)測(cè)得到各自的原樣本預(yù)測(cè)與噪聲預(yù)測(cè)再按 LCM 論文的 CFG 公式合成pred_x0 cond_pred_x0 w * (cond_pred_x0 - uncond_pred_x0) pred_noise cond_pred_noise w * (cond_pred_noise - uncond_pred_noise) x_prev solver.ddim_step(pred_x0, pred_noise, index)ddim_step依據(jù) DDIM 反演公式x_prev sqrt(alpha_prev) * pred_x0 sqrt(1 - alpha_prev) * pred_noise前進(jìn)一步得到增強(qiáng) PF-ODE 軌跡上的下一點(diǎn)x_prev。⑧ 目標(biāo)學(xué)生預(yù)測(cè)。目標(biāo)學(xué)生 U-Net 在x_prev、時(shí)間步t_n與同一引導(dǎo)尺度嵌入下再次輸出得到一致性回歸目標(biāo)target c_skip * x_prev c_out * pred_x_0⑨ 損失計(jì)算與反向傳播。對(duì)model_pred與target計(jì)算蒸餾損失源碼 L1352-L1358if args.loss_type l2: loss F.mse_loss(model_pred.float(), target.float(), reductionmean) elif args.loss_type huber: loss torch.mean( torch.sqrt((model_pred.float() - target.float()) ** 2 args.huber_c**2) - args.huber_c )Huber 損失對(duì)離群點(diǎn)更穩(wěn)健這也是官方示例命令默認(rèn)選用--loss_typehuber的原因。隨后accelerator.backward(loss)反向傳播、按--max_grad_norm裁剪梯度、優(yōu)化器步進(jìn)并在sync_gradients時(shí)對(duì)目標(biāo)學(xué)生網(wǎng)絡(luò)執(zhí)行 EMA 更新。檢查點(diǎn)與驗(yàn)證腳本通過(guò)accelerate的register_save_state_pre_hook/register_load_state_pre_hook自定義序列化格式將unet與unet_target分開(kāi)保存為 diffusers 原生格式訓(xùn)練中斷后可用--resume_from_checkpointlatest恢復(fù)每--checkpointing_steps步保存檢查點(diǎn)--checkpoints_total_limit控制保留數(shù)量超出時(shí)自動(dòng)刪除最舊檢查點(diǎn)每--validation_steps步調(diào)用 log_validation()用LCMScheduler以 4 步采樣對(duì)一組驗(yàn)證提示詞如 Astronaut in a jungle...生成圖像同時(shí)記錄在線網(wǎng)絡(luò)與目標(biāo)網(wǎng)絡(luò)EMA兩套結(jié)果可上報(bào)到 TensorBoard 或 wandb。若想深入理解去噪循環(huán)的基本范式可參考 Understanding pipelines, models and schedulers tutorial。啟動(dòng)訓(xùn)練下面的命令以Conceptual Captions 12MCC12M數(shù)據(jù)集的 webdataset 分片為例數(shù)據(jù)通過(guò)--train_shards_path_or_url以pipe:前綴流式拉取教師模型選用 stable-diffusion-v1-5。使用環(huán)境變量管理模型與輸出路徑export MODEL_DIRstable-diffusion-v1-5/stable-diffusion-v1-5 export OUTPUT_DIRpath/to/saved/model accelerate launch train_lcm_distill_sd_wds.py \ --pretrained_teacher_model$MODEL_DIR \ --output_dir$OUTPUT_DIR \ --mixed_precisionfp16 \ --resolution512 \ --learning_rate1e-6 --loss_typehuber --ema_decay0.95 --adam_weight_decay0.0 \ --max_train_steps1000 \ --max_train_samples4000000 \ --dataloader_num_workers8 \ --train_shards_path_or_urlpipe:curl -L -s https://huggingface.co/datasets/laion/conceptual-captions-12m-webdataset/resolve/main/data/{00000..01099}.tar?downloadtrue \ --validation_steps200 \ --checkpointing_steps200 --checkpoints_total_limit10 \ --train_batch_size12 \ --gradient_checkpointing --enable_xformers_memory_efficient_attention \ --gradient_accumulation_steps1 \ --use_8bit_adam \ --resume_from_checkpointlatest \ --report_towandb \ --seed453645634 \ --push_to_hub關(guān)鍵參數(shù)速覽--mixed_precisionfp16開(kāi)啟混合精度--learning_rate1e-6使用較低學(xué)習(xí)率--loss_typehuber采用更穩(wěn)健的損失--train_shards_path_or_url的花括號(hào){00000..01099}會(huì)被braceexpand展開(kāi)為 1100 個(gè) tar 分片地址--push_to_hub會(huì)在訓(xùn)練結(jié)束后把產(chǎn)物上傳到 Hub需提前通過(guò)hf auth login完成認(rèn)證且注意腳本禁止同時(shí)使用--report_towandb與--hub_token以免令牌泄露風(fēng)險(xiǎn)。訓(xùn)練完成后unet與unet_targetEMA 版本都會(huì)以 diffusers 原生格式保存到OUTPUT_DIR。若需要準(zhǔn)備自己的訓(xùn)練數(shù)據(jù)可參考 Create a dataset for training 指南構(gòu)建與腳本兼容的 webdataset 格式數(shù)據(jù)集。用蒸餾產(chǎn)物進(jìn)行推理訓(xùn)練完成后用訓(xùn)練好的學(xué)生 U-Net 替換 Stable Diffusion 管線中的 U-Net并將調(diào)度器切換為L(zhǎng)CMScheduler即可用 4 步完成采樣from diffusers import UNet2DConditionModel, DiffusionPipeline, LCMScheduler import torch unet UNet2DConditionModel.from_pretrained(your-username/your-model, dtypetorch.float16, variantfp16) pipeline DiffusionPipeline.from_pretrained(stable-diffusion-v1-5/stable-diffusion-v1-5, unetunet, dtypetorch.float16, variantfp16) pipeline.scheduler LCMScheduler.from_config(pipe.scheduler.config) pipeline.to(cuda) # or mps, xpu, cpu prompt sushi rolls in the form of panda heads, sushi platter image pipeline(prompt, num_inference_steps4, guidance_scale1.0).images[0]由于 LCM 已把引導(dǎo)尺度信息蒸餾進(jìn)模型推理時(shí)guidance_scale只需設(shè)為 1.0。LCMScheduler的實(shí)現(xiàn)位于 scheduling_lcm.py其step方法同樣基于c_skip/c_out邊界縮放完成單步去噪與訓(xùn)練目標(biāo)網(wǎng)絡(luò)的計(jì)算方式一致配套的完整管線 LatentConsistencyModelPipeline 默認(rèn)num_inference_steps4也支持 img2img 與 LoRA 檢查點(diǎn)組合使用。輕量變體LCM-LoRA 與 SDXLLCM-LoRALoRA 技術(shù)可以顯著減少可訓(xùn)練參數(shù)量訓(xùn)練更快、產(chǎn)物更小約 100MB 量級(jí)且可注入任意同架構(gòu)模型。倉(cāng)庫(kù)提供了兩個(gè) LoRA 變體腳本train_lcm_distill_lora_sd_wds.py面向 Stable Diffusion 1.xtrain_lcm_distill_lora_sdxl_wds.py面向 SDXL。LoRA 腳本基于peft的LoraConfig/get_peft_model實(shí)現(xiàn)如--lora_rank控制秩示例中為 64訓(xùn)練命令與全量蒸餾幾乎一致僅將腳本替換為 LoRA 版本并加入--lora_rank64等參數(shù)。其完整說(shuō)明見(jiàn) LoRA training 指南。Stable Diffusion XLSDXL 是強(qiáng)大的高分辨率文生圖模型架構(gòu)上增加了一個(gè)文本編碼器CLIP 雙塔。使用 train_lcm_distill_sdxl_wds.py 即可對(duì) SDXL 執(zhí)行蒸餾該腳本在計(jì)算嵌入時(shí)額外生成 SDXL U-Net 所需的added_cond_kwargs。由于 SDXL 自帶 VAE 存在數(shù)值不穩(wěn)定性強(qiáng)烈建議通過(guò)--pretrained_vae_model_name_or_path指定數(shù)值更穩(wěn)定的替代 VAE如 madebyollin 的 fp16 修復(fù)版。詳細(xì)說(shuō)明見(jiàn) SDXL training 指南。下一步進(jìn)階學(xué)習(xí)路徑閱讀 Latent Consistency Models 管線文檔掌握 LCM 在文生圖、圖生圖及 LoRA 檢查點(diǎn)場(chǎng)景下的完整 API 用法若對(duì) LCM 論文細(xì)節(jié)感興趣可研讀原論文中關(guān)于單階段引導(dǎo)蒸餾與跳步方法的設(shè)計(jì)動(dòng)機(jī)與消融實(shí)驗(yàn)對(duì)照 一致性蒸餾示例目錄 與 示例腳本在理解訓(xùn)練循環(huán)的每一步后嘗試按自己的數(shù)據(jù)集與超參數(shù)組合復(fù)現(xiàn)實(shí)驗(yàn)。【免費(fèi)下載鏈接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/di/diffusers創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考