Uber Eats 送餐员对抗人工智能偏见的斗争显示在英国法律下正义是来之不易的

周二，英国广播公司报道称，Uber Eats 送餐员Pa Edrissa Manjang，一位黑人，因“种族歧视性”的面部识别检查阻止他使用该应用，从而收到Uber的赔偿。自2019年11月以来，他一直在Uber平台上使用该应用接取送餐工作。

这则新闻引发了人们对英国法律如何应对人工智能系统日益普及的问题。特别是，自动化系统缺乏透明度，并被迅速推向市场，承诺提升用户安全和/或服务效率，可能会加剧个人受损的风险，即使通过针对AI偏见所受影响的人寻求补救可能需要数年时间。

自2020年4月在英国实施Real Time ID Check系统以来，Uber收到了许多关于面部识别失败的投诉，此次诉讼便是这些投诉的结果。Uber的面部识别系统是基于微软的面部识别技术，要求账户持有人提交一张实时自拍照与档案中保存的他们的照片进行比对，以验证其身份。

身份验证失败

根据曼让的投诉，优步在未能通过身份验证和随后的自动流程后暂停并终止了他的账户，声称在他为了访问平台而拍摄的面部照片中发现了“持续不匹配”。曼让于2021年10月对优步提起了法律诉讼，得到了《平等和人权委员会》(EHRC)和《应用程序司机与快递员工会》(ADCU)的支持。

几年的诉讼之后，优步未能成功让曼江的索赔被驳回，也未能要求继续进行案件时支付押金。这一策略似乎导致了诉讼的拖延，英国人权和平等委员会形容案件在2023年秋季仍处于“初步阶段”，并指出该案表明了“处理人工智能技术索赔的复杂性”。最终听证会定于2024年11月的17天内举行。

由于优步提出并曼江接受了支付和解，所以那次听证会将不会举行，这意味着关于发生了什么错误以及为什么发生错误的更详细的说明将不会公开。财务和解协议的条款也没有披露。当我们询问时，优步没有提供细节，也没有对发生了什么错误进行评论。

我们还联系了微软，就此案件结果寻求回应，但公司拒绝置评。

尽管与Manjang达成和解，Uber并未公开承认其系统或流程存在问题。关于和解的声明否认快递员账户可以仅因AI评估而终止，因为它声称面部识别检查得到“强大的人工审查”支持。

公司在一份声明中表示：“我们的实时身份验证旨在帮助保障所有使用我们应用的人的安全，包括强大的人工审核，以确保我们不是在真空中做出关于某人生计的决定，没有监督。”“自动人脸验证并非曼江先生暂时丧失对快递员账户的访问权限的原因。”

很明显，在曼姜的案例中，Uber的身份验证出了严重的问题。

工人信息交换（WIE）是一个支持曼江投诉的数字权利倡导组织，成功通过《英国数据保护法》的主体访问请求，从Uber获取了他所有的自拍照，并且证实他提交给面部识别检查的所有照片都是他本人的照片。

在解除工作后，帕向优步发送了大量信息以纠正问题，特别要求人员审查他的提交。每次，他都被告知“我们无法确认所提供的照片确实是您本人，并且由于持续不匹配，我们已经做出最终决定，终止与您的合作伙伴关系”，《数据驱动的零工经济剥削》的一份更广泛的报告中讨论了他的案例。

根据已经公开的曼江投诉的细节，很明显Uber的人脸识别检查和其建立的人工审查系统作为自动决策的安全网在这种情况下都失败了。

平等法与数据保护

这个案例引发了有关英国法律在监管人工智能使用方面是否合适的质疑。

最终，曼江通过基于平等法的法律程序成功地从优步获得了一份和解协议 — 具体来说，是根据英国2006年《平等法》的歧视索赔条款，列出种族作为受保护的特征。

尼诗·福克纳女男爵是英国人权和平等委员会主席，她对Uber Eats的送餐员不得不提起法律诉讼才能了解影响他工作的不透明流程表示批评，她在一份声明中写道。

“人工智能是复杂的，对雇主、律师和监管机构提出独特挑战。重要的是要明白，随着人工智能的使用增加，这种技术可能会导致歧视和侵犯人权的行为，”她写道。“我们特别关注曼江先生并没有被告知他的账户正在被停用，也没有提供任何明确有效的途径来挑战这项技术。需要采取更多措施确保雇主对他们的员工透明开放，告知他们何时以及如何使用人工智能。”

英国数据保护法是另一个与此相关的立法。理论上，它应该提供强有力的保护，防止AI过程的不透明性。

曼江声称的自拍数据是通过英国GDPR中包含的数据访问权利获取的。如果他没有能够获取到Uber身份验证失败的清晰证据，公司可能根本不会选择和解。证明专有系统存在缺陷，而不让个人访问相关个人数据，会进一步偏向于那些资源更丰富的平台。

执法漏洞

除了数据访问权限之外，英国GDPR中的其他权力旨在为个人提供额外的保障。法律要求对个人数据进行处理需有合法基础，并鼓励系统部署者积极评估潜在危害，进行数据保护影响评估。这应该迫使对有害的人工智能系统进行进一步检查。

然而，要使这些保护措施生效需要加强执法——包括对倾向性人工智能的推出具有威慑效果。

在英国的情况下，相关的执法机构信息专员办公室（ICO）未能介入并调查对Uber的投诉，尽管对其自2021年以来存在的身份验证错误的投诉。

Jon Baines, 一家律师事务所Mishcon de Reya的高级数据保护专家，认为ICO缺乏适当的执法，削弱了个人的法律保护。

他告诉TechCrunch：“我们不应该假设现有的法律和监管框架无法处理人工智能系统可能带来的一些潜在危害。”“在这个例子中，我觉得……信息专员肯定有权考虑个别案例以及更广泛地审查正在进行的处理是否符合英国《通用数据保护条例》的合法性。”

诸如“处理是否公平？是否有合法基础？是否有第9条款条件（考虑到正在处理特殊类别的个人数据）？但更重要的是，在验证应用程序实施前是否进行了扎实的数据保护影响评估？”。

"所以，是的，ICO应该更加积极主动，" 他补充道，质疑监管机构缺乏干预。

我们联系了信息委员会（ICO），就曼尚案件询问他们是否正在调查优步使用人工智能进行身份验证的情况，针对投诉。监管机构的发言人并未直接回应我们的问题，但发送了一份一般性声明，强调组织“需学会如何使用生物识别技术，不会侵犯人们的权利”。

我们最新的生物特征识别指南明确指出，组织必须降低使用生物特征数据带来的风险，如准确识别人员和系统内部的偏见，”声明还表示：“如果有人对其数据处理方式有疑虑，可以向信息委员会报告这些顾虑。

与此同时，政府正在通过一项脱欧后的数据改革法案来削弱数据保护法。

此外，政府今年早些时候还确认，目前不会出台专门的人工智能安全立法，尽管首相里什·苏纳克曾对人工智能安全是他政府的重点领域做出引人注目的声明。

相反，英国政府确认了一个提案，即在其2023年3月关于人工智能的白皮书中提出，其打算依靠现有法律和监管机构将监督活动扩展到可能在其领域出现的人工智能风险。政府宣布的一项调整是为监管机构额外提供了一小笔资金（1千万英镑），政府建议可以用于研究人工智能风险并开发工具，帮助他们审查人工智能系统。

没有提供资金分发的时间表，这笔额外的小额资金。在这里涉及到多个监管机构，因此，如果现金在伊科、平等权利委员会和药物和卫生保健产品监管署等13个监管机构和部门之间均等分配，英国国务大臣上个月致信要求他们公布有关其“AI战略方法”的更新，他们每个机构可能会收到不到100万英镑的资金用于增加预算以应对快速扩大的AI风险。

坦率地说，如果AI安全真的是政府的优先事项，那这额外资源的投入水平看起来非常低，对已经过度拉伸的监管机构来说。这也意味着在英国现有的监管体系中存在空白，AI带来的危害可能无人关注或监管，正如政府批评者所指出的那样。

一项新的AI安全法可能会传递更强烈的优先信号，类似于欧盟基于风险的AI伤害框架，该框架正在以硬法律的形式加速被该集团采纳。但实际执行它也需要意愿。这个信号必须来自高层。