Stable Diffusion 系列（2）更换模型使用 Lora 插件

上篇中 Stable Diffusion 使用默认模型的 Hello World “画面太美”（如上图），本篇通过更换模型，使用 Lora，让 AI 生成的人像真一点儿。

模型格式

之前下载回来的 stable-diffusion-v1-5 模型是 .ckpt 格式的，另外也接触到 .safetensors 格式，这两种格式 stable-diffusion-webui 都支持，.safetensors 格式声称会更加安全。

参考：《StableDiffusion 模型资源探索食用指南》

寻找 Prompt

我们可以到 civitai 找一些不错的插件，发布者所使用的 Propmt 可供参考。

访问：https://civitai.com/models/14171/cutegirlmix4

在页面上可以看到使用的基础模型和参数，点击 Info 按钮，然后点击 copy 复制信息。

<lora:mix4:0.7>, mix4, <lora:20d:0.5>, 20d, solo, long_hair, shirt, dress, high_heels,full_body, look_at_viewer, (8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.37), professional lighting, photon mapping, radiosity, physically-based rendering,
Negative prompt: paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans,extra fingers,fewer fingers,strange fingers,bad hand (low quality, worst quality:1.4), (bad_prompt:0.8), (monochrome), (greyscale)

Size: 512x1024, Seed: 2144095954, Model: chilloutmix_NiPrunedFp32Fix, Steps: 30, Sampler: DPM++ SDE Karras, CFG scale: 8, Model hash: fc2511737a, Face restoration: CodeFormer

把这段内容粘贴到 Prompt 输入框，点击右侧按钮，各项参数就都会应用到面板。

使用模型

本次测试使用的是 chilloutmix_NiPrunedFp32Fix.safetensors，用它来生成真人图像。

$ wget https://civitai.com/api/download/models/11745 -O chilloutmix_NiPrunedFp32Fix.safetensors

下载后放到 stable-diffusion-webui 项目的 models/Stable-diffusion/ 目录下。

Lora 插件

Lora 可以简单的理解为模型的插件，对模型结果进行微调。

我下载了 cuteGirlMix4_v10.safetensors 和 20d_v10.safetensors

将它们放到 stable-diffusion-webui 项目的 models/Lora/ 目录下。

需要注意的是，Prompt 提示中的 <lora:mix4:0.7> 标签内的 “mix4” 即对应着模型的名称，需要匹配。

另外有个按钮，点击后会出现 Lora 扩展的面板，点击插件会自动将选择的标签填充到 Prompt 面板。

资源推荐

模型

这个链接汇总了一些不错的模型，以及生成的效果，可以参考：【AI绘画】你会选择哪个模型？

Lora 插件

辅助生成 Prompt

https://prompthero.com/

生成效果图

最后想要保存下 stable-diffusion-webui 包到本地，毕竟下载了很多模型和依赖，省的下次继续网络下载，还不小，算了。

参考