OpenAI的新安全委员会由所有内部人员组成

OpenAI成立了一个新委员会，以监督与公司项目和运营相关的“关键”安全和保障决策。然而，令伦理学家们感到愤怒的是，OpenAI选择让公司内部人员（包括CEO Sam Altman）担任委员会成员，而不是外部观察者。

Altman和安全委员会的其他成员 - OpenAI董事会成员Bret Taylor，Adam D’Angelo和Nicole Seligman以及首席科学家Jakub Pachocki，Aleksander Madry（领导OpenAI的“准备”团队），Lilian Weng（安全系统负责人），Matt Knight（安全负责人）和John Schulman（“对齐科学”负责人） - 将负责在接下来的90天内评估OpenAI的安全流程和保障措施，据OpenAI公司博客上的一篇文章称。然后，委员会将与全体OpenAI董事会分享其发现和建议进行审查，OpenAI

OpenAI最近开始训练其下一代模型，我们预计这些系统将使我们在通往[人工通用智能]的道路上达到下一个水平的能力，“OpenAI写道。“虽然我们自豪地构建和发布在能力和安全性方面领先行业的模型，但我们在这一重要时刻欢迎充分的讨论。”

在过去几个月中，OpenAI 的技术团队安全部门已经出现了几起备受关注的离职事件，一些前员工对他们认为的人工智能安全意识被有意削弱表示了担忧。

OpenAI的治理团队成员Daniel Kokotajlo在四月份辞职，因为他对OpenAI在发布能力越来越强的人工智能时是否能够“负责任地行为”失去了信心，他在个人博客上写道。而OpenAI的联合创始人、公司前任首席科学家Ilya Sutskever在五月份离开，据报道部分原因是因为与Altman和他的盟友长时间的争斗，其中包括Altman在推出基于人工智能产品方面的匆忙，而忽视了安全工作。

最近，前DeepMind研究人员Jan Leike，曾参与开发ChatGPT和其前身InstructGPT，在OpenAI工作期间辞去了他在安全研究方面的职务，他在X上发表了一系列帖子称，他认为OpenAI“在AI安全方面的问题上并没有走在正确的轨道上”。上周离开OpenAI的AI政策研究员Gretchen Krueger也附和了Leike的说法，呼吁公司提高其问责机制和透明度，并“谨慎地使用自己的技术”。

《石英》指出，除了苏特斯凯弗、科科塔洛、莱克和克鲁格之外，自去年年底以来，至少有五名OpenAI最注重安全的员工要么辞职要么被赶走，包括前OpenAI董事会成员海伦·托纳和塔莎·麦考利。在周日出版的《经济学人》的一篇专栏中，托纳和麦考利写道，他们不相信在阿尔特曼的领导下，OpenAI能够自律。

“根据我们的经验，我们认为自我管理无法可靠地承受利润动机的压力，”托纳和麦考利说道。

根据Toner和McCauley的观点，科技媒体TechCrunch本月早些时候报道说，OpenAI的Superalignment团队负责开发管理和引导“超智能”人工智能系统，他们被承诺会获得公司20%的计算资源，但很少得到其中的一部分。Superalignment团队目前已解散，并且其大部分工作由Schulman和OpenAI去年12月成立的安全咨询小组负责。

OpenAI已经倡导对人工智能进行监管。与此同时，它也在努力影响这些监管政策，雇佣了一名内部游说人员以及在越来越多的法律公司雇佣了游说人员，并且仅在2023年第四季度就在美国进行了数十万美元的游说。最近，美国国土安全部宣布Altman将成为其新成立的人工智能安全委员会的成员之一，该委员会将为美国的关键基础设施的“人工智能的安全和安全发展与部署”提供建议。

为了避免在由高管主导的安全委员会上出现伦理纸老虎的情况，OpenAI承诺聘请第三方“安全、保障和技术”专家来支持委员会的工作，包括网络安全资深专家罗布·乔伊斯和前美国司法部官员约翰·卡林。然而，除了乔伊斯和卡林之外，该公司并未详细说明这个外部专家组的规模或构成，也没有透露该组对委员会权力和影响的限制。

在X上的一篇帖子中，彭博专栏作家帕米·奥尔森指出，像安全和安全委员会这样的公司监督委员会，类似于谷歌的人工智能监督委员会，实际上“几乎没有进行实质性的监督”。值得注意的是，OpenAI表示它正在通过这个委员会来解决其工作中的“有效批评” — 当然，“有效批评”是因人而异的。

奥尔特曼曾经承诺说，外部人士将在OpenAI的治理中发挥重要作用。在2016年《纽约客》的一篇文章中，他说OpenAI将“计划一种方式，让世界各地的人选举代表进入……治理委员会。”但这从未实现，而且看起来现在也很不可能实现。

我们将推出一份人工智能通讯！请点击这里注册，从6月5日开始就能收到我们的邮件。 (AI = 人工智能)