凌晨两点,显卡风扇像一台小小的潮汐机
那晚窗外下着细雨,机箱里的风扇一阵一阵转高,我盯着第一张512×512图片慢慢浮现:一盏旧路灯、一只湿漉漉的猫。很多人第一次接触本地AI绘画,都会卡在同一个地方:教程看了很多,Stable Diffusion WebUI下载了,模型也放进去了,却不是报错,就是黑图,要么显存爆掉。技术有时像深夜电台,声音很近,信号却需要一点点调准。
先说结论:如果你只是想本地出图,8GB显存能跑;如果要做LoRA微调,建议至少12GB显存。我的测试环境是Windows 11、RTX 3060 12GB、32GB内存、Python 3.10.6。使用Automatic1111 WebUI生成512×512、20 steps、Euler a采样,单图约5.8秒;开启xformers后约4.6秒。数据不神秘,关键是每一步都可复现。
Stable Diffusion本地部署教程:先让它稳定出第一张图
免费路线优先:Automatic1111适合新手,ComfyUI适合流程节点控制。下面以WebUI为例,做一次干净安装。不要用最新版Python,很多报错都来自版本不匹配。
安装Git、Python 3.10.6,安装Python时勾选“Add Python to PATH”。
在一个英文路径目录执行:
git clone stable-diffusion-webui,如果你已有压缩包,也可以直接解压。把基础模型放到:
stable-diffusion-webui/models/Stable-diffusion,常见文件为.safetensors。编辑
webui-user.bat,8GB显存建议:set COMMANDLINE_ARGS=--xformers --medvram;12GB以上可用:set COMMANDLINE_ARGS=--xformers。双击
webui-user.bat,浏览器打开127.0.0.1:7860。
常见故障也有固定脾气。提示CUDA out of memory,先降分辨率到512×512,Batch size设为1;启动时报Python错误,检查是否为3.10.x;图片灰、糊、手崩,不一定是安装问题,先换模型和VAE,再固定seed对比。问“Stable Diffusion怎么用”的人,往往不是不会点按钮,而是不知道变量太多时该先固定哪一个。
LoRA训练教程:用少量图片微调一个自己的风格
模型微调别一上来就全量训练,那像为了修一盏台灯而重建电网。个人风格、人物、产品图,优先用LoRA。免费工具可选kohya_ss,本地跑;付费路线是租云GPU,省时间但要注意素材隐私。
我的一个小案例:用24张陶瓷杯照片训练产品LoRA,原图裁成768×768,训练1500 steps,RTX 3060 12GB耗时约42分钟,成品LoRA文件约144MB。关键参数如下:
训练图:15-30张,主体清晰,避免重复角度太多。
学习率:
unet_lr=1e-4,text_encoder_lr=5e-5。网络维度:
network_dim=16,风格可到32,人物通常16够用。步数:先从1000-2000 steps试,不要一开始训到过拟合。
训练后把LoRA放进:models/Lora,提示词写:<lora:your_lora_name:0.7>。权重从0.6到0.9试,若脸或结构变形,降低到0.5;若风格不明显,提高到0.8。所谓Stable Diffusion模型微调怎么用,本质是让模型记住“特征”,而不是强迫它背诵每张训练图。
如何验证它真的成功,而不是偶然出了一张好图
验证很简单,也很冷静。固定同一个模型、VAE、seed、采样器和提示词,分别关闭LoRA、开启LoRA 0.6、开启LoRA 0.8,各生成4张图。若主体特征稳定出现,构图没有明显崩坏,显存占用不再报错,就说明部署和微调基本可用。再用一组未参与训练的提示词测试泛化能力,例如换背景、换光线、换镜头焦段;如果它仍能保留你的风格,才算真正训练成功。
如果你同时在整理AI绘画、AI对话或Claude怎么用、Claude免费使用这类工作流资料,睿盈工具也会把一些实测笔记收在 https://wizzegroup.com;当然,官方文档、免费社区和本地DIY路线依然是最值得先走的路。深夜里,机器学会画图并不神秘,神秘的是我们终于能把脑海里的微光,慢慢调成一张看得见的图。