AI绘画dif是什么?扩散模型大白话与实测对比
直接给结果:dif九成是diffusion(扩散模型)的缩写,搜它的人想知道图是怎么"变"出来的。原理一句话——从噪点里一步步减掉杂讯,剩下的就是画。
AI绘画dif这个词,我第一次见到是在一个交流群的聊天记录里,有人问"dif模型怎么调",底下没人接话。拆开看就明白了:dif就是diffusion的前三个字母,扩散模型,眼下主流出图工具的底层发动机。搞懂它不用数学底子,我这篇全用大白话讲,最后放一段我自己跑的采样器对比,数据都是10月实测的。
扩散模型是怎么把图变出来的
扩散模型的核心是先学会"把清晰图弄脏成噪点",再反过来学会"从噪点里一步步还原"。出图走的就是后半段那个还原过程。
打个比方。你把一杯清水的样子拍下来,然后往里滴墨,滴一千次,水彻底浑了——这是"加噪"。训练的时候,模型看的就是这个过程:每滴一次墨,画面变化了多少。看的次数多了,它就学会了一件事:给定一杯稍微浑的水,猜出上一滴墨加进来之前的样子。
出图的时候倒过来。你先给模型一杯"纯墨水"——也就是一张纯噪点图——它一步步往回猜,猜个二三十步,浑水变回清水,清水里还多了你提示词要的风景。所谓采样步数,就是往回猜的次数。步数太少,猜得糙;太多,提升越来越小,纯属烧时间。
提示词在里面的作用是"指挥往哪个方向猜"。每一步还原,模型都瞄一眼你的提示词,把画面往那个方向掰一点。CFG值控制掰得多狠:低了不听话,高了用力过猛,画面会出现诡异的过饱和和硬边。我平时放在6到8之间,出问题先动这个。
训练和推理是两码事
训练是模型学规律的过程,动辄几周;推理是拿学好的模型出图,几十秒一张。平时折腾的参数几乎都在推理侧。
很多人把这两件事搅在一起,说"我调调训练参数让图更好看"——方向就偏了。训练是厂商和炼丹玩家的活:喂几亿张图,跑几周,烧电费。你要做的只是选一个炼好的底模。推理才是你每天都在碰的:改提示词、调步数、换采样器,全在这一层。
这两个词分清之后,你看参数面板就不会发怵了。面板上九成的旋钮都是推理侧的,随便拧,拧坏了重开一次就行,模型本体坏不了。我去年刚上手的时候连刷新都不敢点,生怕把模型"调坏",现在想想挺好笑的。
顺带说个硬件上的体感。出图时显存占用大概7个G出头,我的4060是8G版本,刚好卡着线能跑,分辨率一拉高就开始往内存里溢。10月5日我试着直接出1024乘1536的竖图,第一次爆了显存,界面直接红字报错,第二次把优化开关打开才过。所以别信"出图不看硬件"的说法,分辨率和显存是实打实的买卖关系。
两种采样器实测对比
同一句提示词下,Euler a 出图快、变化大,DPM++ 2M Karras 稳定细腻但稍慢,选哪个看你要量产还是出精品。实测数据如下。
10月14日晚上我跑了一组对照:同一句提示词(雨天巷子、暖色路灯、35mm视角),同一张4060显卡,两种采样器各出五张,步数统一28,CFG统一7。结果摆这里:
| Euler a | DPM++ 2M Karras | |
|---|---|---|
| 单张耗时 | 约11秒 | 约17秒 |
| 五张差异 | 彼此差别明显,像五个人画的 | 构图接近,细节有层次差 |
| 暗部表现 | 偶尔发灰 | 更干净,噪点控制好 |
| 适合 | 海选、找构图 | 定稿、出成图 |
我的实际流程是两者串着用:先用 Euler a 狂出二十张海选,挑中构图后把种子固定,换 DPM++ 2M Karras 重出定稿。光这一招,我废片就少了一大半。你要是只有一块普通显卡,先记住这一对组合就够了,别的采样器以后慢慢加。
回到开头那个群里的问题——"dif模型怎么调"。调的不是dif,是dif上面的那层推理参数。原理这东西,懂一次就够用很多年,比背一百条"神级提示词"划算。那天群里我回了一句"先把CFG和步数玩明白",提问的人后来真去试了,第二天发来九张图,进步肉眼可见。
常见问题
dif和模型名字是什么关系?
dif(扩散模型)是技术路线,你下载的某个具体模型是按这条路线炼出来的产品。类似"电动车"和"某个具体品牌"的关系。
采样步数是不是越高越好?
不是。我实测步数从28提到40,画面提升很小,耗时却涨了四成。28上下基本够用,特殊题材再单独试。
CFG调太高会怎样?
画面会变得又艳又硬,模型强行往提示词上凑,边缘出现锯齿感的色块。我见过CFG拉到15的图,人脸的颧骨位置直接裂了一块色斑。
完全不懂原理也能出好图吗?
能,照抄别人的提示词也能出图。但懂原理的人在翻车时会知道拧哪个旋钮,不用整句重来——差别就体现在这种时刻。
延伸阅读
- ai数字绘画是什么?教了两年板绘的老师拆开讲——想从更基础的层面理解AI绘画在绘画版图里的位置,看这篇。