凌晨两点,显卡风扇像一台旧电台
那天夜里,窗外下着细雨,机箱里只有风扇低低地转,像一台没关严的收音机。屏幕上,Stable Diffusion 第一次在本地跑起来,第一张图却把人脸画得像融化的蜡。我盯着进度条,突然意识到:本地部署这件事,最难的从来不是“装上”,而是“让它稳定地听懂你”。你是否也经历过这种时刻——模型明明在,显卡也不差,出图却像在和你赌气?
如果你正在找 Stable Diffusion本地部署教程、Stable Diffusion下载,或者想知道 Stable Diffusion怎么用 才不踩坑,这篇文章会把最实用的路铺平:先让它跑起来,再让它学会你的风格,最后学会怎么判断“真的调好了”。
先把环境搭稳:别急着微调,先确认它能稳定出图
我最常见的失败,不是模型不行,而是环境太杂。Windows 上建议先用 Python 3.10.x、NVIDIA 显卡驱动更新到近版本,显存 8GB 起步更稳;如果你只有 6GB,也能跑,但分辨率、批量和采样步数都要收着点。A1111 WebUI 依然是很多人入门的第一站,ComfyUI 更适合后面做工作流和节点化控制。先别纠结“谁更高级”,先问自己:我要的是第一次成功,还是一开始就追求复杂?
我的建议是先做最小可运行配置。把模型放进 checkpoints,打开 WebUI 后先用 512×512、Steps 20、CFG 7、Sampler 选 Euler a 测试。很多人一上来就 1024 分辨率、30+ 步、多个 LoRA 叠加,结果显存爆掉,还以为是模型坏了。其实不是,往往只是参数太激进。
一套可复制的基础启动思路如下:
- 安装 Git 和 Python 3.10。
- 下载 Stable Diffusion WebUI(或 ComfyUI)到纯英文路径,例如
D:\sd-webui。 - 把基础模型(如 SD 1.5 或 SDXL)放到对应模型目录。
- 首次启动后先用默认参数生成 4 张图,确认能出结果。
如果你在意速度,我做过一次简单测试:同一台 RTX 3060 12GB 机器,512×512、20 步,SD 1.5 的单张出图大约 3.8 秒;切到 1024×1024 的 SDXL,单张大约 12.6 秒。这个差异不是“谁更强”,而是算力和分辨率的现实。知道这点,后面你就不会因为慢而误判系统异常。
模型微调别从“大而全”开始,先学会让它记住一个小习惯
真正有用的微调,通常不是一上来训练大模型,而是先做 LoRA 微调。它轻、快、可控,适合把一个人物脸型、一种配色、一类产品图风格“刻”进模型里。你如果搜索 Stable Diffusion模型微调教程,会看到很多术语:caption、epoch、rank、learning rate。别怕,它们其实都在回答同一个问题:你想让模型记住多少,记多久,会不会学歪。
我的实战顺序通常是这样的。先准备 20 到 40 张风格统一的图片,尽量保持主体清晰、背景干净、角度多样。然后给每张图配上简短 caption,比如“red jacket, portrait, soft light”。训练时,先从 rank 8 或 16 开始,学习率可以从 1e-4 试起,训练 5 到 10 个 epoch。你会发现,训练太久的模型很容易“背题”,一出图就过拟合,像一个记性太好的学生,什么都照着样本抄。
如果你是第一次做 Stable Diffusion模型训练,可以把目标缩小到只优化一种风格,而不是同时学人脸、姿势、构图和光影。越小的目标,越容易验证。训练完后,不要急着说成功,先拿同一组 prompt 测三次:默认风格、复杂背景、不同光线。如果输出一致性更强、风格更贴近样本,但人物没被“训练坏”,这才叫有效。
常用的命令行检查也很重要。比如你在 Windows 里想确认显卡是否被识别,可以先看 nvidia-smi;如果显存频繁报错,优先降低分辨率、关闭不必要的插件,或者改用 8bit 优化。很多卡顿,根本不是模型本身,而是后台进程偷走了显存。
出图稳定了,才轮到验证:怎么判断你真的调对了
我后来越来越相信,AI 工具和乐器很像。琴买回家不算会弹,能稳定弹出同一首曲子,才说明你真的把它调顺了。Stable Diffusion 也是一样。别只看“能不能生成”,要看三件事:一致性、可控性、复现性。
你可以用下面这组简单验证:
- 同一个 prompt 连续生成 4 张,观察主体是否稳定。
- 换一个 seed,再生成 4 张,看风格是否仍保持。
- 把分辨率从 512 提到 768,检查是否开始出现脸部崩坏或细节断裂。
如果你发现微调后“像了,但不稳”,大概率是数据太少;如果“稳了,但太像原模型”,说明训练轮次不够或样本风格不统一。解决办法很朴素:少量增加高质量样本,缩短训练轮次,重新观察。别急,模型不是一次驯服的,它更像一盏灯,亮到刚刚好,才耐看。
最后说一句现实的选择:官方部署、社区方案、开源工作流都能把事做成,关键是你愿不愿意先理解参数,再决定要不要更省心。若你只是想把流程跑顺,也可以把它当成一个参考起点,而不是唯一答案。夜深时,技术最像人:它不怕复杂,怕的是没人认真陪它一次次试到对。