Atla希望构建具有“防范措施”的文本生成AI模型

现在最先进的文字生成人工智能模型也是最容易出错的。

目前已经确立了一个事实，即生成文本模型会产生幻觉，或者捏造事实，并受制于各种偏见和有害内容，包括性别歧视、英文中心主义和种族歧视。例如，如果不进行足够的过滤，GPT-4（OpenAI的旗舰模型）会提供如何进行自残而不被人察觉的建议，合成危险化学物质，并写出种族歧视词语以逃避社交媒体的审查。

显然，对于希望建立这些模型以提升其应用和服务的企业来说，这一切都是个悲哀。根据最近的一项Gartner调查显示，58%的公司对于模型的输出结果是否不正确或存在偏差感到担忧。同样比例的公司表示对模型泄露机密信息感到担忧，这也是文本生成模型一个臭名昭著的特征。

人工智能模型的工作仍在持续进行中。但是对于渴望部署这些模型的公司——尤其是那些已经可用的开源模型而言，有一些初创企业，比如Atla，可以提供帮助。Atla由莫里斯·伯格(Maurice Burger)和罗曼·恩格勒(Roman Engeler)共同创立，正在构建伯格所描述的“守卫线”，用于在“重大风险”领域进行文本分析和生成模型。

Burger之前共同创立了初创公司Syrup Tech，该公司开发使用人工智能技术的电子商务库存软件。而Engeler则曾在斯坦福大学担任人工智能研究员，在那里他研究了文本生成模型及其存在风险。

阿特拉的使命，伯格说，是通过提高其真实性、减少其危害性和提高其可靠性来构建更安全的人工智能系统。该公司的第一款产品是一个与大众和N26团队合作训练的法律研究模型，它通过“可信”法律来源提供带有引文的问题回答。

为什么要首先关注法律研究的人工智能？汉堡表示，需求是明显的。为了避免错误，企业法律顾问通常依赖昂贵且耗时的外部律师事务所。汉堡说，法律专业人员经常花费数小时审查数十份文件才能回答一个问题，这是一个可靠的人工智能系统理论上可以大大减轻的负担。

“我们对生成式人工智能的巨大潜力感到兴奋，并乐于接受推动[文本分析]模型可靠性极限的挑战。” Burger 在一份声明中表示。“在阿特拉，我们致力于创建更安全的人工智能系统，以便在高风险情境中可靠地执行任务。”

这是一个明智的目标，虽然它也很雄心勃勃。Atla对于自己如何使AI系统“更安全”保持沉默。我本人对此表示怀疑，就算是像Anthropic这样资金雄厚、高知名度的专注于安全的AI公司也无法构建一个极大程度减少偏见和幻觉的文本生成模型，那么… Atla面临着艰巨的任务。

此外，Atla 并不是唯一一家致力于构建更安全的文本生成 AI 的初创公司。还有 Protect AI、Fairly AI 和 Kolena，以及最近从隐匿状态中浮出水面的 Vera 和 Calypso 等。

但Atla获得了吸引投资，这意味着至少有一些人愿意为其项目投入资金。今天，Atla宣布在由Creandum领导、Y Combinator和Rebel Fund参与的初创轮融资中获得了500万美元的资金支持。

这是Creandum合伙人Hanel Baveja的观点：

“从我们最初的交流开始，我们对Maurice和Roman的雄心壮志、不懈的工作态度和深厚的人工智能专业知识印象深刻，” Baveja在电子邮件中说道。“我们很高兴加入Atla团队，与他们一起为那些最为重要的领域构建可靠、安全和值得信赖的人工智能应用。”

Burger表示，新的资金将用于扩大 Atla 团队规模，推动其技术的发展，并与更多客户开展业务，同时在伦敦团队招聘技术人员。