加利福尼亚州的人工智能法案 SB 1047 旨在防止人工智能灾难，但硅谷警告称这会引发一场灾难。

更新：加利福尼亚州的拨款委员会于 8 月 15 日（星期四）通过了 SB 1047 法案，并做出了重大修订，改变了该法案。您可以在此处阅读相关内容。

在科幻电影之外，还没有人工智能系统杀人或被用于大规模网络攻击的先例。然而，一些立法者希望在不良行为者将那个反乌托邦的未来变成现实之前实施保障措施。加利福尼亚州的一项名为 SB 1047 的法案试图在人工智能系统引发现实世界的灾难之前加以阻止。该法案于 8 月在该州参议院获得通过，目前正等待加利福尼亚州州长加文·纽瑟姆的批准或否决。

虽然这似乎是一个我们都能认同的目标，但 SB 1047 却引起了硅谷大大小小企业的愤怒，包括风险投资家、大型科技行业组织、研究人员和初创企业创始人。目前全国各地有很多关于人工智能的法案，但加州的《前沿人工智能模型安全可靠创新法案》已成为最具争议的法案之一。原因如下。

SB 1047 会做什么？

SB 1047 试图防止大型人工智能模型被用于对人类造成“重大危害”。

该法案列举了“严重危害”的例子，比如不良行为者使用人工智能模型制造导致大量人员伤亡的武器，或者指使他人策划造成超过 5 亿美元损失的网络攻击（相比之下，CrowdStrike 服务中断估计造成了超过 50 亿美元的损失）。该法案规定，开发者——即开发模型的公司——有责任实施足够的安全协议以防止此类后果。

哪些模型和公司要受这些规则的约束？

SB 1047 的规则将仅适用于世界上最大的人工智能模型：那些在训练期间至少花费 1 亿美元，并且使用 10^26 次 FLOPS（浮点运算，一种衡量计算的方式）的模型。这是一个巨大的计算量，不过 OpenAI 的首席执行官山姆·奥特曼表示，训练 GPT-4 大约花费了这么多。这些阈值可以根据需要提高。

如今，很少有公司开发出规模足够大的公共人工智能产品来满足这些要求，但 OpenAI、谷歌和微软等科技巨头可能很快就会做到。人工智能模型——本质上是能够识别和预测数据模式的大型统计引擎——通常随着规模的扩大而变得更加准确，许多人预计这一趋势将持续下去。马克·扎克伯格最近表示，Meta 下一代的 Llama 将需要 10 倍以上的计算能力，这将使其受到 SB 1047 的管辖。

当涉及到开源模型及其衍生产品时，该法案规定，除非另一个开发者花费 1000 万美元创建原始模型的衍生产品，否则原开发者负责。

该法案还要求制定一项安全协议，以防止受监管的人工智能产品被滥用，其中包括一个能关闭整个人工智能模型的“紧急停止”按钮。开发人员还必须创建针对人工智能模型所带来风险的测试程序，并且必须每年聘请第三方审计员来评估其人工智能安全实践。

其结果必须是能“合理保证”遵循这些规程将防止重大危害——而不是绝对的确定性，绝对确定当然是无法提供的。

谁来执行它，又如何执行？

加利福尼亚州的一个新机构——前沿模型委员会，将监督相关规则。每一个符合 SB 1047 规定阈值的新公共人工智能模型都必须单独认证，并附上其安全协议的书面副本。

前沿模型委员会将由九人管理，包括来自人工智能行业、开源社区和学术界的代表，由加利福尼亚州州长和立法机构任命。该委员会将就潜在的违反 SB 1047 法案的行为向加利福尼亚州的司法部长提供建议，并向人工智能模型开发者发布安全实践指南。

开发人员的首席技术官必须向董事会提交年度认证，评估其人工智能模型的潜在风险、安全协议的有效性，以及描述公司如何遵守 SB 1047。与违规通知类似，如果发生“人工智能安全事件”，开发人员必须在得知该事件后的 72 小时内向 FMD 报告。

如果发现开发者的安全措施不足，SB 1047 法案允许加利福尼亚州的总检察长对该开发者下达禁令。这可能意味着开发者将不得不停止运营或训练其模型。

如果确实发现有某一人工智能模型被用于灾难性事件，加利福尼亚州的总检察长可以起诉该公司。对于一个训练成本达 1 亿美元的模型，首次违规的罚款可能高达 1000 万美元，后续违规的罚款可能高达 3000 万美元。随着人工智能模型变得更加昂贵，罚款比例也会相应提高。

最后，如果员工试图向加利福尼亚州的总检察长披露有关不安全的人工智能模型的信息，该法案为员工提供了举报人保护。

支持者怎么说？

加州州参议员斯科特·维纳（Scott Wiener）是该法案的起草人，代表旧金山。他向 TechCrunch 表示，SB 1047 法案旨在从过去社交媒体和数据隐私方面的政策失误中吸取教训，并在为时未晚之前保护公民。

维纳说：“在技术方面，我们一直以来的做法是等待危害发生，然后才捶胸顿足。咱们别等坏事发生。咱们要未雨绸缪。”

即使一家公司在得克萨斯州，或者就此而言在法国训练了一个价值 1 亿美元的模型，只要它在加利福尼亚州开展业务，就会受到 SB 1047 法案的约束。维纳表示，在过去的 25 年里，国会在围绕技术进行立法方面“做得非常少”，所以他认为加利福尼亚州应该在这方面开创先例。

当被问及他是否就 SB 1047 与 OpenAI 和 Meta 会面时，维纳说：“我们已经与所有大型实验室都见过面了。”

两位有时被称为“人工智能教父”的人工智能研究人员杰弗里·辛顿（Geoffrey Hinton）和约书亚·本吉奥（Yoshua Bengio）对该法案表示支持。这两人属于人工智能界中担心人工智能技术可能导致危险、末日场景的一派。这些“人工智能末日论者”在研究领域已经存在了一段时间，SB 1047 法案可能会将他们青睐的一些保障措施编入法律。另一个支持 SB 1047 法案的组织——人工智能安全中心（Center for AI Safety）在 2023 年 5 月写了一封公开信，要求全世界像对待大流行病或核战争一样，认真优先“减轻人工智能带来的灭绝风险”。

人工智能安全中心主任丹·亨德里克斯（Dan Hendrycks）在给 TechCrunch 的一封电子邮件中表示：“这符合加州乃至整个美国工业的长期利益，因为重大安全事故可能会成为进一步发展的最大障碍。”

最近，亨德里克斯自己的动机受到了质疑。7 月，他公开创办了一家名为“灰天鹅”的初创公司，据一份新闻稿称，该公司打造“帮助企业评估其人工智能系统风险的工具”。有人批评称，如果该法案通过，亨德里克斯的初创公司可能会受益，因为它可能成为 SB 1047 要求开发者聘请的审计机构之一，随后他放弃了在“灰天鹅”公司的股权。

亨德里克斯在给 TechCrunch 的一封电子邮件中表示：“我撤资是为了发出一个明确的信号。如果那些反对人工智能安全常识的亿万富翁风投们想表明他们的动机是纯粹的，那就让他们效仿。”

在 Anthropic 提出的几项修正案被添加到 SB 1047 之后，首席执行官达里奥·阿莫迪（Dario Amodei）发表了一封信，称该法案“利大于弊”。这并非明确背书，但算是一个不冷不热的支持信号。此后不久，埃隆·马斯克（Elon Musk）表示他赞成该法案。

反对者们怎么说？

越来越多的硅谷人士反对 SB 1047 法案。

亨德里克斯所说的“亿万富翁风投的反对”可能指的是 a16z，这是由马克·安德森（Marc Andreessen）和本·霍洛维茨（Ben Horowitz）创立的风险投资公司，它强烈反对 SB 1047 法案。8 月初，该风险投资公司的首席法务官贾库马尔·拉马斯瓦米（Jaikumar Ramaswamy）给参议员维纳（Wiener）提交了一封信，声称该法案“因其武断和不断变化的门槛将给初创企业带来负担”，给人工智能生态系统造成了寒蝉效应。随着人工智能技术的进步，其成本将会更高，这意味着更多的初创企业将超过 1 亿美元的门槛，并受到 SB 1047 法案的约束；a16z 表示，他们的几家初创企业在训练模型方面已经获得了这么多资金。

李飞飞，常被称为人工智能之母，在 8 月初就 SB 1047 打破了沉默，她在《财富》专栏中写道，该法案将“损害我们初露头角的人工智能生态系统”。虽然李飞飞是斯坦福大学备受尊敬的人工智能研究先驱，但据报道，她还在 4 月份创建了一家名为 World Labs 的人工智能初创公司，价值 10 亿美元，由 a16z 投资。

她与一些有影响力的人工智能学者站在了一起，比如同为斯坦福大学研究人员的吴恩达（Andrew Ng）。吴恩达在 7 月于 Y Combinator 举办的一场活动中发表演讲时称该法案是“对开源的攻击”。开源模型可能会给其创建者带来额外的风险，因为像任何开源软件一样，它们更容易被修改并用于任意且可能存在恶意的目的。

Meta 的首席人工智能科学家扬·勒库恩（Yann LeCun）在 X 平台上发文称，SB 1047 法案将损害研究工作，并且该法案是基于“少数妄想型智库所推动的‘存在风险’幻觉”。Meta 的 Llama 大型语言模型是开源大型语言模型的最重要范例之一。

初创企业也对该法案感到不满。人工智能初创企业 Omniscience 的首席执行官杰里米·尼克松（Jeremy Nixon），同时也是旧金山人工智能初创企业中心 AGI House SF 的创始人，担心 SB 1047 法案会摧毁他的生态系统。他认为，应该惩罚造成严重危害的不良行为者，而不是公开开发和分发该技术的人工智能实验室。

尼克松说：“该法案的核心存在着一个严重的困惑，即大型语言模型在危险能力的水平上可能会有所不同。在我看来，更有可能的是，按照该法案的定义，所有模型都具有危险能力。”

8 月下旬，OpenAI 反对 SB 1047，指出与人工智能模型相关的国家安全措施应在联邦层面进行监管。他们支持一项能实现这一目标的联邦法案。

但该法案直接针对的大型科技公司也对 SB 1047 感到恐慌。代表谷歌、苹果、亚马逊和其他大型科技巨头的行业组织“进步商会”发表了一封公开信反对该法案，称 SB 1047 限制了言论自由，并“将科技创新赶出加利福尼亚”。去年，谷歌首席执行官桑达尔·皮查伊和其他科技高管支持联邦对人工智能进行监管的想法。

代表硅谷的美国国会议员罗·康纳（Ro Khanna）在 8 月发表声明反对 SB 1047 法案。他表示担心该法案“无效，会惩罚个体企业家和小企业，并损害加利福尼亚州的创新精神。”此后，议长南希·佩洛西（Nancy Pelosi）和美国商会也加入了他的行列，他们也表示该法案会损害创新。

传统上，硅谷不喜欢加州制定此类广泛的科技监管规定。2019 年，当另一项州隐私法案——加州的《消费者隐私法》也有可能改变科技格局时，大型科技公司也使出了类似的手段。硅谷对该法案进行了游说，在其生效前几个月，亚马逊创始人杰夫·贝索斯（Jeff Bezos）和其他 50 位高管写了一封公开信，呼吁制定联邦隐私法案取而代之。

接下来会发生什么？

SB 1047 目前摆在加利福尼亚州州长加文·纽瑟姆的办公桌上，他最终将决定是否在 8 月底前签署该法案使其成为法律。维纳表示，他尚未就该法案与纽瑟姆交谈，也不知道他的立场。

这项法案不会立即生效，因为边境模式委员会将于 2026 年成立。此外，如果该法案获得通过，在此之前很可能会面临法律挑战，也许来自现在就对此发声的一些相同团体。

更正：这个故事最初引用了 SB 1047 先前草案中关于谁对微调模型负责的表述。目前，SB 1047 规定，如果衍生模型的开发者在训练上的投入是原始模型开发者的三倍，那么他们才对该模型负责。