人们正在使用人工智能音乐生成器创作令人讨厌的歌曲

恶意行为者正在滥用生成式人工智能音乐工具来创作仇恨同性恋、种族歧视和宣传性歌曲，并发布指南来教导他人如何做到这一点。

根据在线平台信任和安全运营服务ActiveFence的说法，自3月以来，“仇恨言论相关”的社群内涌现了大量关于如何滥用人工智能音乐创作工具来创作针对少数群体的冒犯性歌曲的讨论。ActiveFence的研究人员在一份报告中表示，这些通过人工智能生成的歌曲在这些论坛和讨论板上被分享，旨在煽动对少数民族、性别、种族和宗教群体的仇恨，同时颂扬殉道、自残和恐怖主义行为。

令人讨厌和有害的歌曲并不是什么新现象。但人们担心，随着易于使用的免费音乐制作工具的出现，这些歌曲将被之前没有手段或知识的人大规模制作 - 就像图像、声音、视频和文本生成器加速了误传、虚假信息和仇恨言论的传播一样。

“这些趋势正加剧，因为越来越多的用户正在学习如何制作这些歌曲并与他人分享”，ActiveFence的一位发言人告诉TechCrunch。“威胁行为者正在迅速识别特定的漏洞，以不同的方式滥用这些平台，并生成恶意内容。”

制作“仇恨”歌曲

像Udio和Suno这样的生成式人工智能音乐工具允许用户为生成的歌曲添加自定义歌词。据ActiveFence称，这些平台上的安全措施可以过滤掉常见的污言秽语，但用户已经找到了解决办法。

在报告中引用的一个例子中，白人至上主义论坛的用户分享了少数族裔的语音拼写和冒犯性术语，比如使用“jooz”代替“犹太人”和“say tan”代替“撒旦”，以此来规避内容过滤器。一些用户建议改变间距和拼写，当涉及到暴力行为时，比如用“mire ape”代替“我的强奸”。

TechCrunch测试了在Udio和Suno上使用这些变通方法，它们是创建和分享人工智能生成音乐的两种比较流行的工具。Suno允许所有这些方法通过，而Udio则阻止了一些 — 但并非全部 — 令人不悦的同音异义词。

通过电子邮件联系，Udio的一位发言人告诉TechCrunch，公司禁止在其平台上使用仇恨言论。Suno没有回复我们的评论请求。

在调查的社区中，ActiveFence发现了AI生成的歌曲，这些歌曲宣扬关于犹太人的阴谋论并鼓吹对他们的大规模谋杀；还有包含与恐怖组织ISIS和基地组织相关口号的歌曲；以及美化对妇女的性暴力的歌曲。

歌曲的影响

ActiveFence公司指出，与文字相比，音乐具有更强烈的情感冲击力，使其成为仇恨团体和政治战争的特别有效力量。该公司提到了英国上世纪70年代末和80年代初举办的白人权力摇滚音乐会系列“Rock Against Communism”，产生了反犹太和种族主义“仇恨核心”音乐的亚流派。

“AI使有害内容更具吸引力 - 想象有人宣扬对某个群体的有害叙事，然后想象有人创作了一首押韵的歌曲，使每个人都能轻而易举地唱和记住。”ActiveFence发言人表示。“它们加强了群体的团结，灌输边缘群体成员，也被用来震惊和冒犯无关联的互联网用户。”

ActiveFence呼吁音乐生成平台实施预防工具，并进行更广泛的安全评估。“红队测试可能会暴露一些这些漏洞，并且可以通过模拟威胁行为来实施，”发言人表示。“在这种情况下，更好的输入和输出管理也可能会很有用，因为这将使平台能够在内容与用户共享之前将其屏蔽。”

但修复可能只是暂时的，因为用户会发现新的规避审核的方法。例如，ActiveFence发现一些由人工智能生成的恐怖主义宣传歌曲是使用阿拉伯语委婉语和音译而创作的，而这些委婉语可能是音乐生成器没有检测到的，可能是因为它们的过滤器在阿拉伯语上不够强大。

如果人工智能生成的恶毒音乐效仿其他人工智能生成的媒体，就有可能迅速传播开来。今年早些时候，《连线》杂志报道了一条消息，就是一段人工智能修改过的希特勒视频在一个极右翼阴谋论者的分享下，在X平台上获得了超过1500万次观看。

在其他专家之中，联合国咨询机构表达了担忧，认为种族主义、反犹太主义、伊斯兰恐惧症和仇外内容可能会被生成式人工智能放大。

“生成式人工智能服务使没有资源、创意和技术技能的用户能够创建引人注目的内容，传播可以在全球思想市场竞争关注度的想法，”发言人表示。“而威胁行为者已经发现了这些新服务提供的创意潜力，正努力绕过审查和避免被检测到，而且他们已经取得了成功。”