ai绘画之母指的是什么:不是人名,是喂大模型的那些数据集

ai绘画之母指的是什么:不是人名,是喂大模型的那些数据集
ai绘画之母:数据集喂养扩散模型的概念插画

直接给结果:ai绘画之母不是某个人,业内更愿意把数据集当成模型的母亲。没有那五十八亿图文对,扩散模型再好的算法也生不出图。想搞懂这个说法,得先去看数据集这条线。

ai绘画之母这个词,做科普编辑这几年我被读者问过至少五回,最近一回是10月上旬整理读者来信。我的答案一直是:它不是人名,也不该往某位女科学家身上安,真正配得上这个称呼的,是模型的训练数据。

这个说法有它的道理。算法论文换了一茬又一茬,真正决定模型长什么样、会什么画风、有哪些短板的,是喂进去的图文对。就像孩子的口味大多是家里吃出来的,模型的审美是数据集养出来的。

从一千四百万到五十八亿:数据规模的三次跳跃

数据规模的三次跳跃,对应着AI绘画从识别到生成的三道门槛,每一跳都把出图上限抬高一截。第一次是2009年的ImageNet,一千四百万张标注图片,教会模型认东西;第二次是2021年前后几亿级图文对出现,模型开始把文字和画面对上号;第三次是2022年3月LAION-5B发布,五十八亿对,生成式绘画的大门就这么被推开了。

细看第三次最有意思。LAION是个德国的非营利团队,干的活说穿了很朴素:从网页上扒图片和对应的说明文字,按对配好,开源放出来。2022年8月用其中一个二十多亿英文对的子集训练出的Stable Diffusion直接开源,所有人都能在自家显卡上跑,圈子就是从那个月变天的。

顺带把另外两个常见的数据源也交代一下。一个是2022年底出现的COYO-7亿对,韩国团队做的,不少开源模型拿它混着用;另一个是各家公司自建的闭源库,DALL-E和Midjourney这类没公开细节的,训练数据成分只能从出图风格倒推。开源和闭源两条路线,数据上的差距比算法上的差距更难追。

数据集不光决定能不能画,还决定画成什么样。我翻过一些用不同子集训练的开源模型的出图对比,用摄影向数据喂出来的模型,光影真实但画风死板;用插画向数据喂出来的,笔触灵动但手经常画崩。数据里有什么,模型就长什么,缺了就画不出来。

举个身边的例子:想让模型画中式的镂空木窗,通用模型十次有八次画成格栅贴图,纹样是死的。原因不复杂,训练数据里这类东西的占比太低,模型压根没学明白。后来有人专门收集古建筑照片做微调数据,出来才像样。

自己动手挑数据的人,我劝一句:只看数据集说明页没用。我做微调数据前抽了三百张样本人工过目,发现说明文字和图对不上的占了一成半,还有一成是重复图换了个描述。这类脏数据不过筛,训出来的模型坏习惯全是学来的。抽样这一步别省,半小时的活,能省后面几天的返工。

之母也是闹得最凶的地方:版权争议

数据集的来源问题至今没消停,2023年初起的多起诉讼把抓取式建库的老路逼到了墙角。2023年1月,图库巨头和几位画师先后在美国起诉,主张训练数据侵权;同年欧盟的AI法案也把训练数据透明度写进了条款。这些案子的进度时快时慢,但方向已经摆在那。

争议的核心说穿了就一句话:拿别人的图训练,算不算用?支持方说学习不等于复制,反对方说没有授权的规模化抓取就是白拿。两边都有道理,也都有各自的账要算,短期内谁也说服不了谁。

还有一页不太光彩的历史得提。LAION-5B因为混进了不该存在的违规内容,2024年8月整库下架清理,重做后才重新放出。这件事给所有做数据的人提了个醒:规模冲得太猛,质检跟不上,出事是迟早的。

所以现在新的趋势是授权数据和合成数据。有画廊跟模型公司签授权的,也有拿已授权素材再造数据绕开版权的。路数不一,但大家都在往能说清楚来源的方向挪。

回到开头:ai绘画之母这个说法,与其去安在某个人头上,不如记住数据集这条线。模型每一次风格上的进化、每一块短板,追到底都能在数据里找到出处。看懂了这一层,很多行业争论也就看明白了。

常见问题

ai绘画之母和ai绘画之父说的是一回事吗?

不是一回事。父系这条线讲的是AARON到扩散模型的人物和算法史,母系讲的是数据集,两条线在2022年前后汇合,才有了今天的样子。分开记更容易理清脉络。

那些公开数据集里真会有我发的照片吗?

有这个可能。LAION-5B是从公开网页抓的,只要图片带文字描述就有被收进去的概率。有学者做过查询工具,不少人查出了自己的照片。介意的话可以查一下,再用平台的移除渠道提交申请。

数据集越大模型就一定越好吗?

不是。规模到一定量级后,质量和配比的影响反而更大。五十八亿对里一半以上是低质量图文,真正撑起画质的可能不到十亿对。脏数据喂多了,模型还会学到一堆怪毛病。

普通用户需要关心数据集吗?

用的时候用不着,选的时候用得着。挑模型时看一眼训练数据的说明,基本能预判它擅长什么画风、哪些题材会崩,比挨个试错省时间。

延伸阅读