AI绘画模型定制怎么做?训练专属LoRA的入门法

AI绘画模型定制怎么做?训练专属LoRA的入门法
AI绘画模型定制LoRA训练流程示意图

简单说:AI绘画模型定制就是用你自己的一批图去微调一个LoRA,让模型记住你的画风或角色脸,炼完之后只要在提示词里挂上这个LoRA就能稳定复刻,不用每次都跟模型较劲。

老有人问我,为啥他出的图每次脸都不一样、画风飘忽不定。说白了就是光靠提示词在跟大模型硬刚。AI绘画模型定制这件事,听着玄乎,其实就是给模型开小灶——你喂它几十张你想要的画风或角色,它就长记性了。我自己第一次炼LoRA是为了固定一个古风女主的脸,炼完那一刻真的有种"这角色终于听我的了"的爽感。下面把我踩过的坑和能跑通的流程都写出来,照着做不会翻大车。

AI绘画模型定制到底在定制什么

原子答案:定制的就是"画风"和"角色特征"这两样东西,把它们固化进一个小体积的LoRA文件里,用的时候挂在主模型上即可。主模型(比如SDXL底模)是个通才,啥都会一点但啥都不够准。LoRA像是个贴在主模型脑门上的小抄,专门提醒它"这个角色的眼睛要这样画、这个画风笔触要那样走"。

所以你定制之前得想清楚一件事:你要的是画风LoRA抑或角色LoRA。这俩混在一起炼,十有八九崩。我第一次就是图省事,把同一个角色的不同画风图全塞进去,结果炼出来的人脸像换皮游戏,每张都不一样。后来分成两个LoRA分别炼,立刻清爽了。

顺带说一句,概念类LoRA(比如"赛博朋克城市"这种风格)也能炼,但数据要求更高,新手先从角色或单画风入手最稳。

数据准备:二十张图够不够

原子答案:角色LoRA用15到30张图,画风LoRA用80到200张图,低于这个数模型学不进去,高于这个数容易过拟合变拷贝机。

挑图这步比训练本身还重要,我吃过亏。一开始我以为图越多越好,扔了三百张进去,炼出来的LoRA死活只会画其中一张图的姿势,提示词完全失效。后来才知道数据多样性要够——角度要全(正面、3/4侧、正侧、仰俯),表情要有变化,背景别全一样。但也不能太杂,同一张脸的光照条件尽量统一。

几个具体参数给你参考:图片分辨率统一裁到768×768或1024×1024,太小的图先放大补画质。文件名按数字顺序命名(001.jpg、002.jpg),别用中文,训练脚本读到中文路径容易报错。我自己固定每张图手动修一下脸,把闭眼的、糊掉的剔掉,宁可少几张也要干净。

打标(打标签)的细节决定成败

原子答案:每张图配一个同名的txt文件当标签,标签里要写出你想让模型学到的特征,同时用触发词标记角色身份,不写的特征模型就会默认"背下来"。

这一步很多人图省事用自动打标(WD14或者BLIP),跑完就交差。说实话自动打标只是起点,手动修才是关键。举个例子,你这一张图里有红色汉服、有发簪、有柳叶眉,如果你不把这些写进标签,模型就会把这些特征跟角色脸绑死——以后你出图只要挂这个LoRA,它就会硬塞给你红汉服,你想换个蓝的根本改不动。

正确做法:把"角色身份"用一个专属触发词代表(比如xxchara),画风细节写清楚,但角色脸的独有特征不要写——让模型把这些当成本能。我自己的习惯是每张图标签控制在30到75个token之间,触发词放第一个,这样权重最稳。打标这活儿枯燥,但花两小时修标能省你后面十小时的返工。

训练参数怎么填才不翻车

原子答案:新手用Kohya_ss界面,学习率开1e-4,batch size开2,训练步数=图片数×重复次数÷batch,重复次数设10到20之间,先跑一轮看效果。

这套参数是我反复试出来的相对安全档。学习率别贪高,1e-4已经是上限,开到5e-4你会发现炼出来的图全是噪点;开到1e-5又学不动,跑两千步跟没炼一样。Batch size看你显卡,8GB显存就老实开1或2,24GB的卡可以开4,硬开大会爆显存直接崩训练。

训练步数有个公式但不绝对:总步数 = (图片数 × 每张重复次数) ÷ batch size × epoch数。我一般跑1500到3000步之间出第一版。每500步存一个中间权重,方便对比——这点特别重要,我之前没存中间档,结果最后一步过拟合了,前面的好版本全丢了,白等三小时。

显存不够的朋友,先看看这篇AI绘画电脑配置指南,别在8GB卡上硬炼SDXL的LoRA,真的会卡到想砸键盘。

出笼测试:怎么判断LoRA炼成了抑或炼废了

原子答案:用一组固定提示词分别测试权重0.5、0.7、0.9三档,看脸像不像、画风对不对、提示词还听不听话,三项都过关才算成功。

测试这步别偷懒。我搞了个固定的测试提示词模板,专门用来验收LoRA:背景简单、动作单一、特征明确,把干扰项降到最低。然后权重从低到高拉一遍——0.5的时候像不像原图、0.9的时候是不是过拟合(脸僵、细节糊成一片)。

三种典型翻车我对症过:脸不像=数据量不够或角度太单一,补图重炼;画风对了但提示词不听话=标签漏写特征,回去补标;出图全黑或全噪=学习率太高或步数太多,降参数重来。根据Civitai社区上 LoRA 作者的普遍反馈,第一次炼废的概率超过六成,别灰心,第二第三次就顺手了。想找现成模型参考可以去 Civitai模型库 看别人怎么打标怎么写说明,照葫芦画瓢进步最快。

训练完怎么用和怎么分享

原子答案:把.safetensors文件放进models/Lora目录,在WebUI里勾选启用,提示词里用<lora:文件名:权重>调用,权重0.6到0.8最稳。

调用语法记一下,很多人炼完不会挂等于白炼。格式是尖括号包着lora关键字、冒号、文件名(不带后缀)、冒号、权重数字。权重默认1.0太猛,脸会僵,我从0.6开始往上调,0.7是大多数角色LoRA的甜点区。

想分享给别人的话,把训练用的几张代表图和触发词说明一起打包,别人才能用得起来。我见过太多LoRA只丢个权重文件,连触发词都没写,下载回来根本不知道咋调。上传平台的话,Hugging Face 适合技术向、Civitai适合社区传播,看你受众选。底层主模型相关的知识可以翻 SD提示词合集 补一补,调用时搭配着用效果更好。

新手最容易踩的三个坑

原子答案:第一坑是数据太杂、第二坑是标签漏写导致特征绑死、第三个坑是只存最终版没存中间档,过拟合了只能从头来。

把这三个坑单拎出来是因为我自己全都踩过,每个都浪费过至少一晚上。第一个坑前面提过,数据杂的问题就是模型分不清要学啥。第二个坑最阴险——你以为标签写越少模型学越像,其实它会把背景、服装、姿势全跟角色绑死,后期改不动。第三个坑纯属经验问题,养成存档习惯就好。

再往下说一个隐形的坑:别迷信大神的参数。每个人数据不一样,参数也得跟着调。我看到有人说学习率开3e-4效果好,照搬过来我的图全废。参数是起点不是终点,照着跑一遍出问题再微调,这才是炼丹的正经节奏。顺便如果你提示词写不好,这篇AI画不出修复指南 能帮上忙,很多"画不出"其实跟LoRA调用方式有关。

常见问题

没有独立显卡能炼LoRA吗?

本地炼基本没戏,LoRA训练对显存要求最低也要6GB起步,建议8GB以上。实在没卡的可以租云算力,按小时计费,炼一个LoRA大概几块钱到十几块钱,比买卡划算多了。

炼一个LoRA大概要多久?

看数据量和显卡。我3060 12GB显存炼角色LoRA,20张图跑2000步大概40到60分钟。SDXL会比SD1.5慢一倍左右,第一次跑预留两小时比较稳妥。

LoRA炼完之后还能改吗?

不能直接改,但可以继续训练。把之前的权重当起点,用新数据再跑一轮就行,这在炼丹圈叫"接着炼"。注意接着炼的学习率要降一档,不然容易把之前学到的冲掉。

为什么我炼出来的LoRA只能画一种姿势?

数据太单一了。你的训练图里如果80%都是正面站姿,模型就会觉得这个角色只会站着。补几张不同姿势和角度的图重炼,问题就解决了。

模型定制这事,第一次成功出图那个瞬间会上瘾。我自己现在攒了十几个LoRA,每个角色一挂上去就是稳的,比跟提示词死磕省心太多。要是这篇文章帮到你,顺手转发给同样在炼丹坑里挣扎的朋友,或者在社交媒体上戳我聊聊你的炼丹翻车经历,互相抄作业进步更快。