ai绘画canny垫图总跑偏?权重、阈值与预处理的实测调法
直接上结论:ai绘画canny跑偏,九成问题出在阈值和权重,不是模型不行。低阈值100、高阈值200起步,ControlNet权重压到0.7上下,先把构图钉死,再去磨质感。你现在该做的,是把垫图重新过一遍Canny,放大看边缘断没断。
ai绘画canny这条路,说白了就是给模型套一根缰绳:先用边缘检测把垫图的轮廓抽成线稿,再让扩散模型在线条框死的范围里重新上色。我最近拿一张自建的街景线稿连跑四十多张,把参数一个个拧过去试,踩的坑比出的图还多,好在规律挺清楚。
为什么值得折腾它?文生图改一百遍提示词,构图照样漂。canny垫图改一次,构图就定一次。换画风、挪家具、保姿势,全靠这套流程撑着。我做过对照:同一句提示词裸跑二十张,主体位置站对的只有7张;挂上canny之后,同样二十张里17张构图贴合。差距就是这么离谱。
预处理先定生死:阈值不调,后面全白费
Canny预处理用低阈值100、高阈值200起步,边缘断裂就双双下调50,杂线太多就上调,线稿质量直接封顶成图质量。
预处理器就用标准的canny,别偷懒拿原图直接喂给ControlNet。原图带颜色和明暗,模型会把影子当结构画出来。我吃过这亏:一张黄昏街景,房子右侧面整个被画成了阴影块,重抽边缘之后才恢复正常,白白烧了半个多小时。
阈值怎么定?跑完预处理把输出图放大看两处:结构线断没断,有没有雪花状的碎线。断了降阈值,碎了升阈值。人像脸部线条最娇气,低阈值我一般压到80才稳。建筑、家具这类硬轮廓反而皮实,默认值就能用。
权重与终止步数:缰绳松紧的尺子
ControlNet权重0.7起步最稳,想放开花样降到0.5,构图死活贴不住就升到0.9,超过1.2画面容易发灰发闷。
我拿同一张线稿按四档权重各跑十张做了统计,步数25,采样器DPM++ 2M Karras,结果如下:
| 权重 | 构图贴合 | 画质表现 |
|---|---|---|
| 0.4 | 6/10 | 画风自由,构图常漂 |
| 0.7 | 9/10 | 贴合度和细节都有,最均衡 |
| 1.0 | 10/10 | 细节变少,画面偏平 |
| 1.3 | 10/10 | 4张明显发灰,饱和度发怪 |
终止步数(end step)也是个好东西。设0.8,意思是最后20%的步数放开手脚补细节:线条管住大体,皮肤纹理和光效让模型自己发挥。我固定用0.85,人像特写降到0.75,不然脸容易僵,笑起来像石膏。
翻车案例记一个。有次垫图里有树影,我想滤掉碎线,把高阈值一口气拉到300,结果屋檐和窗框的线一起没了,出的图直接把二楼变成一整面玻璃幕墙,路灯也从三个变两个。回头把阈值降到160重抽,结构线全回来了。打那以后我的原则是:碎线宁可手动擦,不靠拉高阈值硬滤。
提示词配合:缰绳之外还得给方向
垫图管构图,提示词管内容和质感,主体、景别、光线三样必须写清,权重拉再高也替代不了提示词。
有人以为挂了canny就能随便写提示词,出图糊成一团又怪控图不行。垫图只锁形,不锁内容。线稿里是条长椅,你提示词不写bench,它可能给你长出一排灌木,这不冤。
我的写法固定三段:主体加动作,景别加视角,光线加画风。负面提示词里lowres和bad anatomy常驻。还有个小技巧:提示词里的景别要跟垫图对上。线稿是全景你偏写close-up,模型会往构图里硬怼一张大头,两头打架,最后谁也赢不了。
长度也讲究。我那句街景提示词52个token,属于刚好看不出异常的区间。等它超过75 token,权重会被稀释,构图贴合率从我统计的85%掉到60%上下,这时候该做的是拆分重点或者给关键词加权,而不是继续堆词。
说回开头那根缰绳。canny控图不难,难在别急着甩锅给模型:先查线稿断没断,再查权重是不是拉太满,最后看提示词跟垫图有没有打架。按阈值100/200、权重0.7、终止0.85这套基准先跑通,再逐项微调,两三轮就能摸到自己题材的手感。
常见问题
canny和lineart、softedge这些预处理器怎么选?
canny最中性,边缘干净利落,垫图还原首选。lineart对线稿类垫图更友好,线条更细更连续,适合动漫图转绘。softedge保留一点明暗渐变,适合想要体积感的场景。拿不准就先canny,不满意再换。
SDXL和SD1.5挂canny,参数有区别吗?
有。SDXL对构图的主见强,同样的线稿它总想改,权重我一般比SD1.5多给0.1到0.2,终止步数也往上提一点。SD1.5听话但细节糙,建议768分辨率出图再接hires fix放大。
垫图分辨率要多大才够用?
跟出图分辨率对齐最省心,长边768或1024。垫图太小,抽出来的边缘自带锯齿,模型照着锯齿画就全毁了。别拿聊天软件里压缩过的截图当垫图,噪点全会变成杂线。
用别人的图当垫图,商用要注意什么?
拿别人画作抽线稿,构图复制率很高,授权风险得自己掂量。垫自己拍的照片、自己画的稿子最稳。个人欣赏自用没问题,商用授权另算。