AI绘画画IP怎么做?IP角色设计的提示词法
简单说:AI画IP最大的难点是"一致性"——同一角色反复出现却要保持发型、五官、配饰完全相同。解决办法是建立锚定特征词组(发色发饰瞳色胎记)+ LoRA微调模型 + 角色设定稿反复喂参考图,把出图一致率从两成提到七成以上。
今年三月帮一个咖啡品牌做ai绘画画ip吉祥物,需求是"一个咖啡豆精灵IP,后续要在不同场景反复出镜"。当时我心想这有啥难的,结果掉进了大坑——一次出图很满意,第二次第三次AI给画的感觉是"长得有点像但不是同一个精灵",整个IP形象立不起来。后来我系统研究了一致性这事儿,前前后后试了快俩月才摸出方法。
这篇就把用真金白银烧出来的经验摊开讲,免得你也走弯路——做IP这题材比做单张图难上一个数量级,得有耐心。
AI做IP为什么一致率低:模型本质决定的
翻车根源是AI文生图本质是概率生成——同一段提示词每跑一次都是从随机噪声开始去噪,输出图差异巨大,根本不稳定;想稳定一致就得用更强的"角色锚定"机制。
三个层面的常见难点。第一是面部差异,同一提示词每次出来的脸型、瞳距、五官比例都微妙不同,连起来看像双胞胎不算同一个人。第二是发型配饰漂移,第一次紫发双马尾配星形发饰,第二次变成紫发单马尾配心形发饰,第三次直接成了粉发披肩,IP视觉符号立不住。第三是风格漂移,第一张扁平卡通风第二张半写实风第三张水彩风,整个IP调性乱了。
这三点也对应三个层次的解法,下面一层层说。
锚定特征设定稿:IP的"DNA档案"
核心步骤是先给IP角色写一份完整的"锚定特征设定稿",把所有不可变元素明确写出来——发色发型瞳色瞳形胎记疤痕配饰服装色块比例皮肤色系身高比例,作为每次出图时必带的提示词锚。
我自己的设定稿模板长这样(以那个咖啡豆精灵为例):
- 体型:短圆萌系身材(chibi proportions, round chubby body)
- 肤色:浅米色带咖啡色调(warm caramel skin tone)
- 头发:深棕色双丸子头(dark brown double bun hairstyle)配金色咖啡豆发饰(gold coffee bean hairpin on left side)
- 眼睛:大圆杏仁眼,榛子色虹膜带咖啡豆图案(large round almond eyes, hazel iris with coffee bean pattern)
- 胎记:左脸颊一颗小棕色咖啡豆形雀斑(small brown coffee-bean-shaped freckle on left cheek)
- 服装:奶油色围裙配深棕背带(cream apron with dark brown straps),胸前咖啡豆徽章(coffee bean badge on chest)
- 气质:cheerful warm smile, energetic and inviting
这份设定稿每次出图都要完整带进提示词里,且权重拉高(用括号或weight)。这一招单独用一致率大概能从两成提到四成,远不够但有了基础。
角色参考图喂图与IP-Adapter
锚定文字提示词还不够,更稳的方法是用一张最满意的角色图作为参考图反复喂给模型——通过IP-Adapter或类似机制让模型"记住"这个角色的视觉特征,新出图会基于这张参考图衍生。
具体操作流程:第一步先跑大量出图(四五十张),从中选出一张"标准设定稿",作为整个IP的视觉基准。第二步把这张设定稿导入到SD本地的IP-Adapter模块(or Midjourney的--cref参数,即DreamBooth的角色一致性参考)。第三步每次新出图都同时启用设定稿参考+锚定提示词,效果会大幅提升。
我实测下来这套组合一致率可以从四成提到七成以上。Midjourney的--cref / --cw参数对外行最友好,参考一张角色图它就能在新生成里尽量保持角色一致,去Midjourney官网看具体参数细节。
SD本地方案可上Hugging Face找IP-Adapter模型,或者用DreamBooth微调一个专属角色LoRA,一致率最高但门槛高要训练。这套SD训练流程的硬件门槛可以参考我之前写的AI绘画电脑配置。
LoRA微调:最高一致率的终极方案
对一致性要求极高(八成以上)的IP项目,必须训练专属LoRA模型——用20-30张同一角色多视角图的训练数据集微调出一个LoRA权重,新出图直接调用即可保留全部角色识别符。
我那个咖啡豆精灵最后就是走LoRA这条线搞定的。流程是:用最初的设定稿连续生成二十多张多视角图(正面、侧面、3/4侧、背影、俯视、仰视),人工筛选掉不像的剩二十张,用Kohya_ss训练一个LoRA权重,训练步数大概1500-2000步,学习率1e-4。训练完成加载这个LoRA后,新出图一致率直接飙到九成以上。
这事儿门槛确实高,要懂SD本地部署和训练基本流程,但效果天差地别。根据Adobe官方对Adobe Firefly风格参考功能的产品说明,他们也在做类似的"角色一致性生成"功能,但截至我写这文,自定义LoRA训练依然是商业IP项目最高一致率的方案。
不想训练LoRA的折中方案是直接在 Civitai 找风格相近的现成LoRA + 自己设定稿参考图,但一致率上限依然不如自训LoRA。详细的SD训练流程可以系统学一下相关教程,几周时间能入门。
工具选择与一组实测对比
AI做IP这条线SD本地最专业(LoRA可控)、Midjourney出图直观易用(--cref一致率七成)、即梦出图快但一致率一般。三工具各有所长。
我用同一组"咖啡豆精灵IP,5种不同场景"提示词三平台并启用各自最强一致性机制对比:
| 维度 | SD本地+自训LoRA | Midjourney v7+--cref | 即梦AI |
|---|---|---|---|
| 一致率 | ★★★★★ 最高 | ★★★★ 较稳 | ★★★ 一般 |
| 质感 | ★★★★ | ★★★★★ 顶级 | ★★★★ |
| 门槛 | 高需训练 | 低 | 低 |
| 出图耗时 | 约25秒 | 约50秒 | 约12秒 |
| 商业可用 | 可控版权 | 规则限制 | 会员可商用 |
我自己日常是Midjourney跑快速一致预览、SD本地+自训LoRA跑正式商用IP资产。根据字节跳动旗下即梦AI的产品说明,会员商用授权范围明确,但IP一致率上限有限不适合做长期IP资产。
需要做商业IP的话还得SD本地训练LoRA。Midjourney商用有规则限制要细看,去官网了解。想知道更系统的工具横评可以看AI绘画软件横评。
三个我踩过你最好别踩的坑
坑一是没设定稿就开干、坑二是只靠提示词不喂参考图、坑三是商业IP不训LoRA——三点中招率超过九成。
第一点前面讲了,设定稿是地基。第二点光靠提示词一致率天花板就四成,做不了正经IP,至少要用IP-Adapter或Midjourney--cref喂设定稿参考图。第三点商业IP做长期资产必须自训LoRA,不然做不到八成以上的商业可用一致率。
还有个隐藏坑是变化太大导致参考图失效。比如你设定稿画的是chibi可爱风,新提示词突然想画写实风,参考图完全用不上,IP一致性崩盘。风格变化的范围内最好别跨风格太多档,宁可分多套LoRA也别一套混。
关于从IP角色到3D资产延伸的话题,可以参考我之前写的AI绘画和建模,那里讲了IP资产2D和3D两个方向的边界。想要用AI绘画接单变现的看AI头像接单指南。
一条龙出图流程
我的标准流程:写设定稿→跑20张多视角图→筛选训练用图→训练LoRA→加载LoRA出不同场景图→PS修细节→交付,全程约一周一个IP。
- 写完整IP设定稿,锚定所有不可变特征
- 用Midjourney--cref或SD+IP-Adapter跑大量多视角底图(20-30张)
- 从底图里严格筛选20张符合设定稿的训练集
- 用Kohya_ss训练LoRA,步数1500-2000,学习率1e-4
- 加载训练好的LoRA,按不同场景需求出图
- 每张出图都带设定稿提示词锚定+LoRA权重(0.6-0.8)
- 用PS做最终细节修复(眼神方向、配饰位置等)
- 批量交付多场景IP素材
跑顺之后一个商业IP大概一周能搞定,是新手期一个月也搞不定的水平。要把成片做成动态IP表情包或者视频的可以参考AI绘画转视频指南。
常见问题
AI画IP怎么保证不同场景里同一角色一致?
三层方案叠加:第一层写完整锚定特征设定稿作为每次出图必带提示词,第二层用IP-Adapter或Midjourney--cref喂设定稿参考图,第三层正式IP项目训练专属LoRA。三层叠加一致率可达九成以上。
新手第一次做AI IP用什么工具好?
建议先用Midjourney配合--cref参数快速体验角色一致性,门槛低效果好。要做正经商业IP再上SD本地训练LoRA,门槛高但一致率最高。更系统的工具横向对比可以参考我前面提到的软件横评文章。
LoRA训练需要多少张训练图?
20-30张同一角色的多视角图最佳(正面侧面3/4侧背影俯视仰视),全部要严格符合设定稿。少于15张容易过拟合,多于40张训练时间过长收益递减。训练步数1500-2000步,学习率1e-4是我的常用参数。
AI做出的IP能商用吗版权清楚吗?
取决于工具。即梦会员明确商用授权、Adobe Firefly商用授权清晰、SD本地自训LoRA版权最干净(自己训练数据自己掌握)、Midjourney商用有规则限制要细看条款。商业IP项目我建议SD本地自训LoRA路线版权最稳。
啰嗦这一堆,AI做IP看着是出图题材其实是工程问题,一致率才是命门。你要是刚上手先把"设定稿+参考图喂图"这组合练熟,等接到正经商业项目了再上LoRA。觉得这篇有用就转发给同样在折腾AI做IP的朋友吧,能让更多人少走弯路。