夜影,这个“污染”数据的工具,给艺术家对抗人工智能提供了一线希望
故意给别人下毒从道德上讲永远是错误的。但是如果办公室里有人不停地偷你的午餐,你会不会采取小报复呢?
对于艺术家来说,保护作品不被未经许可用于训练AI模型是一场艰巨的斗争。选择退出和禁止抓取代码依赖于AI公司的善意合作,但那些以利益为先而忽视隐私的人很容易无视这些措施。对于大多数艺术家来说,对网络隔离是不可取的,因为他们依赖社交媒体的曝光来获取佣金和其他工作机会。
《Nightshade》是芝加哥大学的一个项目,它通过"毒化"图像数据来给艺术家提供一些救济,使之对人工智能模型的训练变得无用或干扰性。该项目的负责人、计算机科学教授Ben Zhao将Nightshade比喻为"在你的午餐中加入辣酱,以防止被办公室冰箱里的东西偷走"。
“我们正在展示的事实是,生成模型(generative models)一般来说,无论怎么说都是模型。Nightshade本身并不是一个用来终结这些公司的极其强大的武器”,赵说道。“Nightshade展示了这些模型的脆弱性,以及攻击它们的方式。这意味着内容所有者有办法提供比给国会写信、通过电子邮件或社交媒体抱怨更有说服力的回报。”
赵和他的团队并不打算打倒大型人工智能公司,他们只是试图迫使科技巨头支付授权作品的费用,而不是用获取的图片训练人工智能模型。
"做这件事有正确的方式,"他继续说道。"这里真正的问题是关于同意和补偿。我们只是为内容创作者提供了一种反击未经授权培训的途径。"
夜影针对文本提示与图像之间的关联关系,通过微妙地改变图像中的像素来欺骗AI模型,使其解释出与人类观察者看到的完全不同的图像。模型会错误地对“阴影”图像的特征进行分类,如果它们被训练了足够量的“毒化”数据,它们将会开始生成与相应提示完全无关的图像。研究人员在一篇正在同行评议中的技术论文中写道,即使只有少于100个“毒化”样本,也足以破坏一个稳定扩散的提示。
以一幅牛舒适地躺在草地上的画作为例。
"通过操纵和有效地扭曲这种联想,你可以让模型认为奶牛有四个圆形车轮、一个保险杠和一个后备箱," 赵告诉 TechCrunch。"而当它们被要求生成一头奶牛时,它们将生成一辆大福特卡车而不是一头奶牛。"
夜影团队还提供了其他示例。一幅未经修改的“蒙娜丽莎”的图像和一个阴影版本在人类眼中几乎是完全相同的,但是AI不会把“被毒害”的样本解释为一幅描绘一位女性的肖像,而是将其“视为”一只穿着长袍的猫。
在使用给AI模型展示猫的遮蔽图像进行训练后,引导其生成一张狗的图片,结果得到了令人恐惧的混合图像,与任何一种动物都没有相似之处。
技术文件指出,这些影响渗透到相关概念中。受影响的样本对于“幻想艺术”这个提示词也会影响到“龙”和“迈克尔·威兰”等提示词,他是一位专攻幻想和科幻封面艺术的插画家。
赵还带领团队开发了一款名为Glaze的隐身工具,它能扭曲AI模型“看待”和确定艺术风格的方式,从而防止它模仿艺术家独特的作品。与Nightshade类似,一个人可能会看到一幅“上釉”的真实木炭肖像,但是AI模型会将其视为一幅抽象画,然后在被要求生成精细木炭肖像时生成混乱的抽象画。
在去年工具推出后接受TechCrunch采访时,赵先生将Glaze描述为一种以攻击技术作为自卫手段。赵先生最近对TechCrunch表示,虽然Nightshade并非“直接的攻击”,但它仍然对那些不尊重选择退出的掠夺性人工智能公司采取主动行动。OpenAI公司现在允许艺术家选择退出,不再用于训练未来的模型,该公司面临集体诉讼的指控,被指违反版权法。
"‘免于参与’这个问题的问题在于,这是一种最软弱、最难以确定的请求方式。没有执行力,不能迫使任何公司履行他们的承诺," 赵先生说道。"有很多公司避开了监管,比OpenAI小得多,他们没有任何限制。他们没有任何理由遵守这些退出清单,他们仍然可以随心所欲地使用您的内容。"
凯利·麦克兰恩是一位艺术家,他参与了对稳定性AI、Midjourney和DeviantArt的集体诉讼,他在X上发布了一个他们渲染和上釉绘画的例子。这幅画描绘了一个被霓虹血管缠绕的女人,像素化的“复制品”从她身上获取能量。这代表着生成式人工智能“以吞噬人类创造力的真实声音”,麦克兰恩写道。
麦克纳开始在2022年浏览图片,这些图片与他们自己的画作极为相似,原因是AI图像生成器开始向公众发布。当他们发现自己的50多幅作品被擦痕并用来训练AI模型时,他们告诉科技媒体TechCrunch,他们对继续创作艺术失去了兴趣。他们甚至在AI生成的内容中找到了自己的签名。他们表示,使用Nightshade是一种保护措施,直到有适当的监管存在为止。
“就好像外面有场大风暴,但我还得去上班,所以我会保护自己,用一把透明的雨伞看清楚前方的路。”麦克尔南说道,“这样做并不方便,我并不能阻止这场暴风雨,但它会帮助我度过困境,看清楚另一边的景象。同时也向那些只知索取而不负任何责任的公司传达信息,我们会进行反击。”
夜影所做的大部分修改应该对人眼来说是看不见的,但团队指出,在颜色单一且背景平滑的图像上,“遮蔽效果”更加明显。这个工具可以免费下载,并且还提供了低强度设置以保持视觉质量。麦克克纳表示,尽管使用了Glaze和Nightshade之后,他们能够看出图像被修改过,但作为绘画者,这几乎是察觉不出来的。
插画师克里斯托弗·布雷茨展示了他作品上使用了夜影效果,并将结果发布在X上。在夜影的最低和默认设置下,图像对插画的影响很小,但在更高的设置下变化明显。
“我已经整周都在尝试使用Nightshade,并计划将任何新作品和我较旧的在线作品集都运行通过它,”Bretz告诉TechCrunch。“我知道许多数字艺术家已经有段时间没有上传新作品了,我希望这个工具能给他们重新开始分享的信心。”
在博客文章中,团队写道,理想情况下,艺术家在将作品在线分享之前应该同时使用Glaze和Nightshade。团队正在测试Glaze和Nightshade在同一幅图像上的互动方式,并计划发布一个集成的、能同时实现两者功能的单一工具。与此同时,他们建议先使用Nightshade,然后再使用Glaze来减小可见效果。团队强烈反对只应用Nightshade而不用Glaze的艺术作品上线,因为Nightshade不能保护艺术家免受模仿。
签名和水印,即使是添加到图像的元数据中的那些,也是"脆弱的",如果图像被修改,它们可以被删除。Nightshade所做的更改将通过裁剪、压缩、截屏或编辑保留下来,因为它们修改了构成图像的像素。即使是显示着有阴影图像的屏幕的照片对于模型训练也会造成干扰,赵说道。
随着生成模型变得越来越复杂,艺术家们面临着保护作品和打击非法爬取的压力。Steg.AI和Imatag帮助创作者通过应用对人眼不可见的水印来确立对他们的图像的所有权,尽管两者都无法保证保护用户免受不良爬取的侵害。去年发布的“No AI”水印生成器会给人工制作的作品添加水印,标示其为AI生成,希望未来模型训练所使用的数据集能够过滤掉AI生成的图像。还有Spawning.ai开发的工具Kudurru可以识别和追踪爬取者的IP地址。网站所有者可以屏蔽被标记的IP地址,或选择返回一个不同的图像,比如一个中指图像。
夜影的批评者声称这个程序是一个“病毒”,或者抱怨使用它会“损害开源社区”。在夜影发布之前的几个月,Reddit上发布的一张截图中,一个Discord用户指责夜影进行“网络战争/恐怖主义”。另一个在X上无意中引起热议的Reddit用户质疑夜影的合法性,将其比作“入侵易受攻击的计算机系统以破坏其运行”。
相信夜影是非法的,因为它“故意干扰生成型AI模型的预期目的”,正如楼主所说,是荒谬的。赵先生明确表示,夜影是完全合法的。赵先生说:“它并没有‘神奇地跳入模型训练管道然后杀死所有人’”,模型训练者是自愿获取阴影和非阴影的图像,而AI公司也从中获利。
Glaze和Nightshade的最终目标是在未经许可的情况下,对每一份被收集的数据都产生“递增价格”,直到利用未授权数据进行训练模型变得不可行。理想情况下,公司将不得不获得未被破坏的图像许可来训练它们的模型,确保艺术家们同意并得到他们的作品的补偿。
此前已经有类似的例子:Getty Images和Nvidia最近推出了一种完全通过Getty庞大的库存照片进行训练的生成型人工智能工具。订阅客户需要根据他们想要生成多少张照片来支付费用,而使用他们作品来训练该模型的摄影师则会从订阅收入中获得一部分。根据Wired的报道,津贴的发放根据摄影师的作品在训练集中贡献了多少,以及“该内容随时间的表现”。
赵明确表示他不反对人工智能,并指出人工智能在伦理上存在很多争议的应用之外,还有非常有用的应用。在学术界和科学研究领域,人工智能的进步是值得庆祝的。他表示,尽管大多数与人工智能相关的营销炒作和恐慌实际上是指生成型人工智能,但传统人工智能已经被用于开发新药物和应对气候变化。
“这些事情都不需要生成式人工智能。这些事情不需要漂亮的图片,也不需要捏造事实,也不需要在你和人工智能之间有用户界面,”赵说。“对于大多数基本的人工智能技术来说,这并不是核心部分。但是很显然,这些事情与人们的交互非常容易。大型科技公司确实抓住了这个方便赚钱并吸引更广泛人群的机会,与那些确实具有基础、突破能力和惊人应用的科学人工智能相比。”
科技行业的主要参与者,其资金和资源远超学术界,大多数都支持人工智能。他们没有动力去资助那些具有破坏性且没有经济收益的项目。赵先生坚决反对将Glaze和Nightshade商业化,也绝不会将这些项目的知识产权出售给初创企业或公司。像麦克凯南这样的艺术家对于摆脱订阅费感到非常感激,几乎在创意行业使用的软件中普遍存在订阅费。
“艺术家们,包括我自己,每一次都感觉被剥削,”麦克纳说。“所以当有人免费将资源提供给我们时,我知道我们会非常感激。”
夜影团队由赵博士、博士生Shawn Shan和几名研究生组成,他们的研究得到了大学、传统基金会和政府资助的支持。然而,为了持续开展研究,赵博士承认团队可能需要探索“非营利组织结构”并与艺术基金会合作。他还表示,团队还有一些“底牌”。
“长期以来,研究一直是为了拓展人类的知识而进行的。但我认为像这样的研究,存在着伦理底线。”赵表示,“对于这方面的研究......那些最易受到伤害的人群,往往是最有创造力的,同时他们在资源方面又得到的支持最少。这不是一场公平的战斗。这就是为什么我们正在尽力平衡这场战场。”