LoRA怎么影响AI绘画模特的脸?练过三版之后讲清人物一致性

LoRA怎么影响AI绘画模特的脸?练过三版之后讲清人物一致性
LoRA模特脸一致性原理与三版训练实测对比

先把底交代了:LoRA就是给大模型外挂的一张脸卡,练得对,同一张模特脸的一致率能从五六成拉到九成上下;练得糙,脸会串味。这篇用我三版卡的实测数字讲清原理、流程和翻车点,不想训练的读者直接跳到最后一个章节看替代方案。

ai绘画模特模型里最让人摸不透的一件事,就是同一张脸能不能反复出现。有人随手就能出同一个模特,有人垫图垫到怀疑人生,脸照样张张在换,差别多半出在LoRA上。这东西不神秘,说白了就是往大模型上装一张"脸卡",装稳了,脸就是你的;装歪了,出图像开盲盒。

交代下背景。2026年8月底到10月,我在一张RTX 3060上前后练了三版虚拟模特脸卡,给电商详情页那个纯虚构的形象用。三版加起来花了十来个小时,翻车次数比成功次数多。下面所有数字都是自己一张张数出来的,不抄谁的。

LoRA到底是什么:给大模型装一张脸卡

LoRA是一份几十到一百多MB的小参数文件,出图时叠在大模型上,把底模里那张平均脸往你的模特脸方向掰。它不改底模本体,卸掉就恢复原样。

大模型出脸有个脾气:你不指名道姓,它就画一张平均脸。你写少女、正面、棚拍,出来的五官是千万张照片揉出来的中间值,好看,但再点一次,中间值就换了人。LoRA干的事,是把你那几十张训练图里的五官偏向压成一份小文件,出图时叠上去,硬生生把平均脸掰成你的模特。

这名字来自2021年微软那篇论文,全称Low-Rank Adaptation,思路是大模型冻结不动,只训一层很小的旁路参数,论文原文在arXiv上能看到。落到出图上就一句话:同一个提示词,挂卡和不挂卡,出来是两个人。

所以群里那种随手就出同脸的老哥,拆开看无非两种:要么一直在用垫图把脸往回拽,要么手里真有一张练好的卡。光靠提示词写圆脸杏眼高鼻梁,那是在跟概率赌运气,赌十把输七把。

自己练一版脸卡:数据、参数和耗时

练一版能用的脸卡,30到50张光线统一的照片起步,普通游戏显卡三个多小时能跑完。数据质量比张数要紧,光线一杂,脸必串味。

流程四步:收图、打标、开练、挑产物。收图是大头。我第一版凑了40张,白天阳台的、夜市路灯下的、室内暖光的都有,当时想着量大了总是好事,后来发现恰恰相反,这是第一版翻车的根子。练卡不比攒素材,模型学什么像什么,你喂十种光,它就把十种光都算成这张脸的一部分。

打标就是给每张图配文字说明,发型、脸型、表情逐条写清楚。触发词我设了一个自造词,专指这个虚拟形象,跟任何真实词汇都不沾边。参数上我基本照秋叶整合包的默认值,只改了三处:学习率1e-4,网络维度dim 32,跑10个epoch。30张图乘每张重复10次乘10轮,总共3000步,3060跑了三个多小时,产物是一张144MB的卡。对了,睡前开练这个习惯不太行,第二天上班我差点迟到。

没有本地显卡的,云平台按小时租卡也是条路,一小时一两块到几块钱,练一版的总花费比一杯奶茶低。我没租过,3060够用就懒得折腾,只提醒一句:租卡记得用完就关机,群里有人忘关,白挂了一晚上。

三版实测:一致率数字和串味翻车

同一个虚拟模特连出20张,不挂卡只有11张认得出是同一人,第一版卡12张,修完数据的第二版18张,第三版19张。翻车点全在训练集的光线上。

测法很土:提示词固定,只换背景词和姿势词,每个版本连出20张,脸裁成300像素见方并排摆,肉眼数还认得出是同一个人的有几张。结果就是开头那几个数。别嫌样本小,第二版到第三版那1张的差距,背后是我把8张侧脸照片补进训练集的结果——纯正面练出来的卡,模特头一转就换人。

翻车最狠的是第一版。11张夜市暖光照片把肤色带黄了,练出来的卡在白色影棚光下,模特颧骨发宽、脸色发黄,朋友看了说这脸一股烧烤摊味。串味就是这么来的:你喂什么光,卡就把什么光算成这张脸的一部分。修法粗暴,删光全部暖光和逆光,重凑28张柔光箱正脸加侧面,重跑一遍,冷白光下的脸立刻正了。

顺手记个小坑:打标时我把黑长直写进了触发词,结果后期想给模特换发型,怎么改提示词都换不动,卡把发型一起锁死了。第二版把发型描述挪出触发词才松开。

不想练卡:参考图加提示词也能锁脸

不训练也能锁住模特脸:一张满意的正脸底图反复垫图,配一句话面容描述,20张能稳住17张。省事省钱,代价是侧脸和大角度容易走样。

这套办法我在练卡之前用了两个月。挑一张最满意的正脸存成底图,每次出图垫在最前面,Midjourney用cref参数,Stable Diffusion挂IP-Adapter,多数网页工具叫参考人物,道理都一样。面容描述压成一句话挂在提示词末尾,当保险丝用。具体四招怎么配,我单独写过实测,垫图权重、种子怎么锁都拆了:不训练也能锁脸的四种轻量方法实测。

两条路怎么选,直接摆表:

对比项自己练LoRA参考图垫图
前期投入收图加训练约4小时挑一张底图就行
单批20张里认得出同一人18到19张17张
侧脸和大角度稳容易走样
换发型换装要降权重或重练改提示词就行
适合谁长期固定形象、出图量大刚起步、偶尔出图

说句偏心话:一个月出图量不到100张的,别练,垫图够用;形象要长期经营、要批量出图的,卡早练早省心。我练完第三版之后,垫图就只用来出草稿了。

回到开头:为什么有人能出同一张脸,有人不能。差别不在玄学,在于有没有把这张脸从概率里固定下来——垫图是临时按住,LoRA是长期焊死。三版练下来我最大的收获倒不是一致率,是详情页终于敢印"专属模特"四个字了。

常见问题

练LoRA必须要4090吗?

不用。我全程RTX 3060 12G,显存12G算舒服线,8G也能练,要开省显存选项,时间拉长一截。实在没卡就按小时云租,练完记得关机。

可以用真人照片练脸卡吗?

别拿真人练。肖像权风险绕不开,平台也查得严。我练的三版全是纯虚构形象,训练图来自AI生成加素材库的虚拟人,这个口子别开。

挂了卡脸还是偶尔漂,怎么救?

先把权重从1.0压到0.7到0.8,很多漂是权重拉满导致的。再查底模:练卡用什么底模,出图就用什么底模,跨系混用脸必变。

一张脸卡能拿到别的大模型上用吗?

跨系不行。SDXL系的卡配SDXL底模,SD1.5的卡配1.5的底模,练卡和出图差一个系,五官就换人了。想换底模,基本等于重练一版。

训练集到底多少张合适?

20到50张之间起步都行,光线统一比张数要紧。我28张柔光图练出的第二版,比40张杂光的第一版强得多,宁缺毋滥。

延伸阅读