本周人工智能新闻：前开放AI员工呼吁安全和透明

大家好，欢迎阅读TechCrunch首期人工智能简讯。能够输入这些文字真是太激动人心了——这个简讯经过了很长时间的筹备，我们终于可以和大家分享了。

随着TC AI新闻通讯的推出，我们将停掉之前称为Perceptron的半规律专栏This Week in AI。但你将在这里找到我们为This Week in AI带来的所有分析，还有更多，包括对值得关注的新AI模型的重点介绍。

本周在人工智能领域，OpenAI 再次陷入麻烦。

一群前OpenAI员工接受了纽约时报的Kevin Roose采访，谈论了他们认为该组织存在严重安全隐患的问题。他们和最近几个月离开OpenAI的其他人一样，声称该公司未采取足够措施防止其人工智能系统变得潜在危险，并指责OpenAI采用强硬手段阻止员工警告。

这个团体周二发表了一封公开信，呼吁包括OpenAI在内的领先人工智能公司建立更大的透明度和更多保护举报者的措施。信中写道：“只要这些公司没有受到有效的政府监督，现任和前任员工是少数可以让它们对公众负责的人。”

我可能比较悲观，但我预计前员工的呼吁会付诸东流。很难想象一个情景，即人工智能公司不仅同意“支持开放批评的文化”，如署名建议的那样，而且选择不强制执行不诋毁条款，或报复选择发声的现任员工。

考虑到OpenAI最近为了回应对其安全实践的初步批评而成立的安全委员会，其成员全是公司内部人员，包括CEO Sam Altman在内。再考虑到Altman曾声称对OpenAI的限制性非诋毁协议一无所知，但却亲自签署了建立这些协议的公司文件。

当然，OpenAI的情况可能明天就会好转，但我不抱有期待。而且即使情况确实好转了，很难信任它。

新闻

AI启示录：OpenAI的人工智能聊天机器人平台ChatGPT，以及Anthropic的Claude和Google的Gemini和Perplexity，今天早上几乎同时出现故障。所有服务现已恢复，但它们的故障原因仍不清楚。

OpenAI探索核聚变：OpenAI正在与核聚变初创公司Helion Energy进行谈判，就一项交易达成协议，AI公司将从Helion购买大量电力用于为其数据中心提供动力，据《华尔街日报》报道。Altman在Helion拥有3.75亿美元的股份，并担任董事会成员，但据称他已退出了这笔交易的谈判。

培训数据的成本：TechCrunch关注了在人工智能行业变得普遍的昂贵数据许可协议，这些协议威胁着使小型组织和学术机构的人工智能研究变得不可行。

令人厌恶的音乐生成器：恶意行为者正在滥用人工智能音乐生成器制作具有同性恋、种族歧视和宣传性的歌曲，并发布指南指导他人也如此做。

据路透社报道，专注于企业的生成式人工智能初创公司Cohere已从英伟达、Salesforce Ventures、思科等公司新一轮融资中筹集了4.5亿美元，使Cohere估值达50亿美元。知情人士告诉科技博客TechCrunch，甲骨文和汤姆维斯特风投（均为老股东）也参与了这一轮融资，该轮融资尚未结束。

本周的研究论文

在2023年的一篇名为《让我们逐步验证》的研究论文中，OpenAI最近在其官方博客上强调称，OpenAI的科学家声称他们已经对这家初创公司的通用生成式人工智能模型GPT-4进行了优化，以在解决数学问题时获得超出预期的性能。论文的共同作者表示，这种方法可能导致生成模型不太容易偏离正轨，但他们指出了几个注意事项。

在这篇论文中，共同作者详细说明了他们如何训练奖励模型来检测幻觉，或者说当GPT-4在事实和/或数学问题的答案上出错时的情况。（奖励模型是专门用来评估AI模型输出的模型，本例中是GPT-4的数学相关输出。）奖励模型每当GPT-4在数学问题中做对一步时，就会“奖励”它，研究人员称之为“过程监督”。

研究者表示，与以往“奖励”模型的技术相比，过程监督提高了GPT-4在数学问题上的准确性，至少在他们的基准测试中是这样。他们承认这并不完美，GPT-4仍然会在问题步骤上出错。目前还不清楚研究者探讨过的过程监督形式在数学领域之外是否具有推广价值。

本周模特

天气预报可能并不像科学（至少当你被淋湿时，就像我刚才被淋了一样），但这是因为它是关于概率，而不是确定性。而计算概率的最好方式又何尝不是概率模型呢？我们已经看到人工智能在从小时到世纪的时间尺度上进行天气预测的工作，现在微软也加入了其中。该公司的新Aurora模型在这个快速发展的人工智能领域取得了进展，提供了大约0.1°分辨率的全球级预测（可以考虑大约10公里的正方形范围）。

Aurora经过超过一百万小时的天气和气候模拟训练（不是真实的天气？嗯……），并在一些理想任务上进行了微调，性能比传统的数值预测系统高出几个数量级。更令人印象深刻的是，它在Google DeepMind的GraphCast领域击败了对手（虽然微软进入了这个领域），在一至五天的时间尺度上提供更准确的天气条件猜测。

像谷歌和微软这样的公司当然也在竞争中拼尽全力，它们都希望通过提供个性化最强的网络和搜索体验来赢得您的在线关注。准确、高效的第一方天气预报将至关重要，至少在我们停止外出之前是这样。

抓包

上个月，在Palladium杂志上，人工智能初创公司Anthropic的首席幕僚Avital Balwit在一篇思考文章中提出，由于生成式人工智能的快速发展，接下来的三年可能是她和许多知识工作者最后一次工作。她说，这应该是一种安慰，而不是一种恐惧的理由，因为它可能会“导致一个世界，在这个世界上人们不需要工作，但也不缺少物质需求”。

一位知名的人工智能研究员曾经告诉我，他正在通过尝试一些自己并不擅长的活动来为“这个转折点”做准备：比如柔术、冲浪等，享受做事情的过程，即使没有达到卓越的水平，”巴尔威特写道。“这是我们如何为未来做准备的——在那个未来，我们将不得不从快乐而不是需要出发，做一些事情；在那里，我们不再是最擅长的，但仍然必须选取如何度过我们的日子。”

这当然是乐观的看法，但我不能说我赞同。

如果生成式人工智能取代大多数知识型劳动者（这在我看来似乎不太现实，因为人工智能存在许多未解决的技术问题），经济崩溃很可能会随之而来。知识型劳动者占劳动力的大部分，并且往往是高收入者 - 因此也是大手大脚的消费者。他们推动着资本主义的发展。

巴尔维特提到了普遍基本收入和其他大规模社会保障计划。但我并不怎么相信像美国这样连基本的联邦级人工智能立法都无法有效管理的国家会很快采用普遍基本收入方案。

希望我是错的。