人类主义聘用前OpenAI安全负责人领导新团队

AI7号2024-05-312575

Chat中文镜像

领先的人工智能研究者简·莱克本月初从OpenAI辞职,公开批评该公司对人工智能安全的做法,并加入OpenAI竞争对手Anthropic领导一个新的“超对齐”团队。

在一篇X上的帖子中,Leike表示他在Anthropic的团队将专注于人工智能安全和安全性的各个方面,具体包括“可扩展监督”,“弱到强的泛化”和自动对齐研究。

一位知情人士告诉科技媒体TechCrunch,莱克将直接向Anthropic的首席科学官杰瑞德·卡普兰汇报,目前Anthropic的研究人员正在致力于可扩展监督技术,以可预测和理想的方式控制大规模人工智能的行为。随着莱克团队的成立,这些研究人员将转而向莱克汇报。

在许多方面,莱克的团队在使命上与最近解散的OpenAI超级对齐团队类似。莱克共同领导的超级对齐团队有雄心勃勃的目标,即在未来四年内解决控制超级智能AI的核心技术挑战,但经常发现自己受制于OpenAI的领导层。

Anthropic经常试图将自己定位为比OpenAI更注重安全的公司。

Anthropic的首席执行官Dario Amodei曾担任OpenAI的研究副总裁,据报道因为对公司发展方向的分歧而与OpenAI分道扬镳,主要是因为OpenAI日益增长的商业关注度。Amodei带着一些前OpenAI员工一起创立了Anthropic,包括OpenAI的前政策负责人Jack Clark。