欧盟计划强制消息应用程序扫描儿童性虐待材料风险,专家警告可能产生数百万个误报

AI7号2024-05-02737

Chat中文版

欧盟议员强烈推动法律要求消息平台扫描公民的私人通讯中的儿童色情材料 (CSAM),这引发了数百位安全和隐私专家在周四发表的公开信警告,可能会导致每天数百万个错误报警。

自欧盟两年前提出CSAM扫描计划以来,对该提议的担忧一直在增加——独立专家、欧洲议会各方议员,甚至该集团自己的数据保护监督员都在敲响警钟。

欧盟提议不仅要求接收CSAM检测令的消息平台扫描已知的CSAM;它们还必须使用未指明的检测扫描技术来尝试检测未知的CSAM并在发生时识别梳理活动,由此引发对立法者沉迷于技术解决方案的魔术思维水平的指责。

批评者认为该提案要求实现技术上的不可能,而且无法实现保护儿童免受虐待的目标。相反,他们认为这将对互联网安全和网民隐私造成严重破坏,因为它迫使平台部署对所有用户进行全面监控,采用风险高且未经证实的技术,如客户端扫描。

专家表示,没有任何技术能够在不造成更多伤害的情况下实现法律要求的内容。然而,欧盟却不顾一切地继续推进。

最新的公开信致力于欧洲理事会最近提出的关于 CSAM 扫描规定草案的修订,签署者认为这些修订未能解决计划中的根本缺陷。

信件的签署者达到习近270人-包括数百名学者,其中包括哈佛肯尼迪学校的布鲁斯·施奈尔教授以及约翰霍普金斯大学的马修D·格林博士等知名安全专家,还有一小部分来自IBM、英特尔和微软等科技公司的研究人员。

去年7月,由465名学者签署的一封公开信警告称,立法提案依赖的检测技术“存在严重缺陷,容易受到攻击”,并将导致端到端加密(E2EE)通信提供的重要保护显著削弱。

对于反对意见,没有太多支持。

去年秋天,欧洲议会的议员们联合起来,采取了一种经过大幅修改的方法来反击——即限制对已经涉嫌儿童性虐待的个人和团体进行扫描;将扫描范围限制在已知和未知的CSAM上,取消对诱导扫描的要求;通过将范围限制在非端对端加密的平台上,消除了对E2EE的任何风险。但是欧洲理事会,欧盟立法中涉及的另一个共同立法机构,尚未就此事作出立场,其立场将影响该法律的最终形式。

最新的修改案是由比利时理事会主席提出的,该理事会在三月份代表欧盟成员国政府进行讨论。但在公开信中,专家们警告说,这项提议仍然未能解决内建在委员会方案中的基本缺陷,认为修订仍然会为监控和控制互联网用户带来“前所未有的能力”,并且会“损害...我们社会的安全数字未来,并且可能对欧洲以及其他地方的民主进程产生巨大影响。”

在修改后的议会提案中讨论的调整包括建议可以通过风险分类和风险缓解措施更有针对性地制定检测令,并且可以通过确保平台不必创建对解密数据的访问权以及通过审核检测技术来保护网络安全和加密。但是270位专家认为,这只是在围绕安全和隐私灾难的边缘打转。

“从技术角度来看,为了有效,这项新提议还会完全破坏通信和系统安全”,他们警告道。他们在分析中指出,依赖“有缺陷的检测技术”来确定感兴趣的个案,以便发送更有针对性的检测命令,并不会减少法律带来的风险,即使用户在网上的信息也可能面临“大规模监视”的远景。

这封信还讨论了理事会提出的一项建议,即通过将“利益相关人”定义为已经分享过CSAM或试图对儿童进行性侵的用户,以限制误报的风险 - 这将通过自动评估来完成;例如,等待已知CSAM的1次命中或未知CSAM/性侵的2次命中,然后用户才会被正式确认为嫌疑人并向欧盟中心报告,该中心将处理CSAM举报。

数十亿的用户,数百万的假阳性。

专家警告称,这种方法仍然很可能会导致大量虚假警报。

由于检测错误导致的假阳性数量极不可能显著减少,除非重复次数非常大,使得检测停止有效。考虑到这些平台发送的大量消息(数量达到数十亿级别),人们可以预期会有大量的虚假警报(数量达到数百万级别),”他们写道,指出可能被发出检测令的平台拥有数百万甚至数十亿用户,比如元界的WhatsApp。

鉴于目前没有公开信息显示可以实际使用的探测器的性能,让我们想象一下,根据提案,我们将拥有一个CSAM和grooming探测器,只有0.1%的误报率(即,千次中有一次将非CSAM错误分类为CSAM),这比目前已知的任何探测器都要低得多。

考虑到 WhatsApp 用户每天发送 1400 亿条消息,即使只有百分之一的消息被这些检测器测试,每天也会有 140 万个错误报警。要将错误报警降低到几百个,根据统计学,至少需要识别出 5 个使用不同、统计独立的图像或检测器的重复。而这只是针对 WhatsApp —— 如果考虑其他消息平台,包括电子邮件在内,所需的重复次数将显著增加,甚至不足以有效地减少 CSAM 的分享能力。

在签署者看来,另一个限制侦测令只针对被视为“高风险”的消息应用的理事会提议是一个无效的修订。他们认为这仍然可能“会不加区分地影响大量人员”。他们指出,只有标准功能,比如图片分享和文字聊天,才是交换CSAM所需的 — 这些功能被许多服务提供商广泛支持,因此将其列为高风险类别将“无疑影响很多服务”。

他们还指出,端到端加密的采用正在增加,他们认为这将增加推出该技术的服务被分类为高风险的可能性。“随着数字市场法案引入的互操作性要求,导致消息在低风险和高风险服务之间流动,这一数字可能进一步增加。因此,几乎所有服务都可能被归类为高风险,”他们辩称。(注:消息互操作性是欧盟DMA的核心要点。)

后门的后门

关于加密保护的问题,这封信重申了安全和隐私专家多年来一直在向立法者们喊话的观点:“对端到端加密服务的检测本质上破坏了加密保护。”

新提案的一个目标是“在保护网络安全和加密数据的同时,将使用端到端加密的服务纳入监测令范围之内”。正如我们之前所解释的那样,这是一个自相矛盾的地方,”他们强调说,“端到端加密提供的保护意味着除了通信的预期接收方之外,没有其他人应该能够了解这种通信内容的任何信息。启用监测能力,无论是针对加密数据还是加密之前的数据,都违反了端到端加密提供的保密定义。

近几周,欧洲各地的警察局长们联名发表了自己的声明,对端到端加密技术的扩大表示担忧,并呼吁各平台设计安全系统的方式,使其仍能识别非法活动并向执法部门发送有关消息内容的报告。

广泛看来,这项干预是为了向立法者施加压力,以便通过类似CSAM扫描规定的法律。

警长们否认他们要求加密有后门,但他们并没有说明到底希望平台采用哪些技术解决方案来实现所寻求的“合法访问”。这一难题将让立法者们面临一个非常复杂的挑战。

如果欧盟继续沿着当前的道路前行 - 所以假设理事会未能改变方向,正如欧洲议会要求的那样 - 这些信件的签署者继续警告说后果将是“灾难性的”。“这将为过滤互联网设立先例,并阻止人们使用一些少数可用工具来保护他们在数字空间中的隐私权;特别对那些在网上服务中严重依赖的青少年将产生冷峻效果。这将改变全球数字服务的使用方式,很可能对全球范围内的民主体制产生负面影响。”

欧盟理事会内部消息人士无法提供关于成员国当前讨论的见解,但指出将于5月8日举行工作组会议,确认将讨论打击儿童性虐待的法规提案。

推荐阅读

微软禁止美国警察部门使用企业人工智能工具

2024-05-022128
Chat中文版

Danti的地球数据自然语言搜索引擎在新一轮500万美元融资中飞速发展

2024-05-02218
Chat中文版

Dropbox和Figma的CEO支持Lamini,这是一家为企业构建生成式人工智能平台的初创公司

2024-05-022343
Chat中文版

Atlassian将Jira Software和工作管理工具结合在一起

2024-05-01987
Chat中文版

Atlassian推出了Rovo,它的新人工智能合作伙伴

2024-05-01217
Chat中文版