LoRA模型训练入门:不写代码也能训练专属AI绘画风格模型
简单说:LoRA就是给你的AI绘画模型装一个"风格插件"。不需要从零训练整个模型(那要几万美元),只需要15-30张图+一台6GB显存以上的显卡+半小时,就能训练出一个专属风格的小模型。训练出来之后,你画的所有图都会带有你训练数据的风格特征——比如你的脸、你的猫、你喜欢的画风。文件才几十MB,方便分享和叠加使用。
LoRA模型训练入门:不写代码也能训练专属AI绘画风格
玩AI绘画的人最终都会走到这一步——"为什么我画出来的脸和上次不一样?""怎么让AI一直画我家猫而不是随机猫?""这个画风能不能固定下来?"
答案三个字母:LoRA。
这是目前AI绘画圈最主流的模型定制技术。学会它,你就从"用AI画画"升级到了"让AI按你的风格画画"。
什么是LoRA?用人话解释
LoRA(Low-Rank Adaptation,低秩适配)是一种轻量级模型微调技术。它不在原始模型上直接修改,而是训练一个很小的"补丁文件"(通常10-200MB),挂载到基础模型上就能改变出图风格。可以理解为给AI装了一个可以随时插拔的风格插件。
对比一下传统做法:想训练一个画你家猫的模型,以前要用Dreambooth全量微调——训练出来一个2-6GB的大文件,而且每换一个风格就要重新训练整个模型。LoRA只训练一个小补丁,几十MB,可以同时加载好几个LoRA叠加使用(比如"猫脸LoRA+水彩风格LoRA+赛博朋克LoRA")。
说实话,LoRA的出现是AI绘画平民化的关键一步。以前定制模型是技术大佬的专属玩法,现在有一台游戏本就够了。
训练前准备:你需要这些东西
| 准备项 | 要求 | 说明 |
|---|---|---|
| 显卡 | 显存≥6GB | RTX 2060/3060即可,8GB+体验更好 |
| 训练工具 | Kohya SS GUI | 最主流的LoRA训练工具(免费) |
| 基础模型 | SD 1.5或SDXL | 推荐从SD 1.5开始(训练快、生态好) |
| 训练图片 | 15-50张 | 根据训练目标确定数量 |
| 标注工具 | BLIP或手动 | 给每张训练图打标签 |
没有显卡?用云端GPU。AutoDL租一张RTX 3090大约2-3元/小时,训练一个LoRA半小时到一小时,总共花费几块钱。比买显卡划算多了。
数据准备:训练图的质量决定模型的质量
这是整个流程中最重要、也最容易被忽视的一步。垃圾数据训练出垃圾模型——这个道理放哪都成立。
训练人物LoRA的数据要求:
- 15-30张不同角度、不同光线的人脸照
- 要包含正面、半侧面、全侧面
- 要包含不同表情(微笑、严肃、自然)
- 背景多样化(不能所有照片都是白墙)
- 统一裁剪到512x512或768x768
训练画风LoRA的数据要求:
- 30-50张风格统一的图片
- 可以是自己用AI生成的(从同一风格的不同提示词出图)
- 也可以收集喜欢的艺术家作品(但注意版权,仅个人学习使用)
- 确保画风一致性——如果混了水彩和油画,AI就不知道该学哪个
训练参数设置(核心干货)
Kohya SS界面看着复杂,但你只需要关注这几个关键参数:
关键参数速查:
- Network Rank (Dim): 人物LoRA用32-64,画风LoRA用64-128
- Network Alpha: 设为Rank的一半(比如Rank=64,Alpha=32)
- Learning Rate: 0.0001(默认),效果不好再调到0.00005
- Epochs: 10-20轮,观察loss曲线,不再下降就停
- Batch Size: 显存够设2-4,不够设1
- Resolution: 512x512(SD1.5)或1024x1024(SDXL)
最关键的参数是Network Rank。数值越大模型容量越大、学得越多但也越容易过拟合。人物LoRA用32-64刚好——太大了会把训练图"背下来"而不是学会特征。
根据Kohya SS官方文档和社区的大量实践经验,新手最常见的错误就是Rank设太高——设128学出来的人脸跟训练图一模一样但换个角度就崩了。
训练后测试和调优
训练完怎么知道LoRA好不好?三步测试法:
- 同提示词对比:同一段提示词,加载LoRA和不加载各跑一次,对比差异
- 权重扫描:分别用0.5、0.7、0.9、1.0的权重出图,找到最佳权重
- 泛化测试:用训练集没出现过的场景(比如训练了室内照,测试户外照),看LoRA是否能在新场景下保持特征
如果发现过拟合(所有出图都像训练图),降低Rank重训。如果欠拟合(看不出风格变化),提高Rank或增加epochs。
常见问题
训练一个LoRA需要多少张图片?
人物LoRA建议15-30张,画风LoRA需要30-50张。重点不在数量而在多样性和标注质量。少于10张容易过拟合,超过100张性价比不高。
训练LoRA需要什么配置的显卡?
最低6GB显存,推荐8GB+。不够可以用Kohya SS低显存模式或租云端GPU(AutoDL约2-3元/小时)。Mac用户用Draw Things App内置功能。
LoRA和Dreambooth有什么区别?
Dreambooth全量微调(2-6GB大文件),LoRA只练小补丁(几十MB)。LoRA更快更小更灵活,可叠加使用。2026年圈内主流是LoRA。
LoRA这东西学会就是竞争力。搭配AI画质提升和周边商品变现,一套完整的AI绘画变现闭环就跑通了。觉得有用的话分享出去。