Guardrails AI希望利用众包的方式解决GenAI模型的问题

很容易让GenAI说出谎言和不实言辞。

在过去的一周里，微软和谷歌的聊天机器人在比赛开始前就宣布了超级碗的获胜者，这就提供了一个例子。然而，真正的问题是当GenAI产生有害的幻觉时，它会支持酷刑，强化种族和种族刻板印象，并以有说服力的方式写关于阴谋论的文章。

越来越多的供应商，从像Nvidia和Salesforce这样的老牌公司到像CalypsoAI这样的初创公司，都提供了一些产品，声称可以减少GenAI中不受欢迎的有毒内容。但是这些产品都是黑盒子，除非单独测试每个产品，否则无法知道这些抗幻觉的产品之间的比较情况，以及它们是否真正实现了所声称的功能。

夏利娅·拉吉帕尔将这视为一个重大问题，并创办了一家名为Guardrails AI的公司，试图解决这个问题。

“大多数机构……都在努力解决有关 AI 应用的负责任部署问题，并且难以确定什么是最佳和最高效的解决方案，” Rajpal 在电子邮件采访中告诉 TechCrunch。"他们常常在管理对其重要的一组风险时陷入重新发明轮子的困境。"

根据拉杰帕尔的观点，调查表明，复杂性以及由此带来的风险是阻碍组织接受GenAI的主要障碍。

英特尔子公司Cnvrg.io最近进行的一项调查发现，大约四分之一的公司在实施GenAI应用时都担心合规和隐私、可靠性、实施成本高和缺乏技术技能等问题。与此相对应的，风险管理软件提供商Riskonnect的一项独立调查显示，超过一半的高管担心员工根据GenAI工具提供的不准确信息做出决策。

Rajpal之前曾在自动驾驶初创公司Drive.ai工作，在苹果收购Drive.ai后，加入了苹果的特殊项目组。他与Diego Oppenheimer、Safeer Mohiuddin和Zayd Simjee共同创立了Guardrails。Oppenheimer曾领导过机器学习运营平台Algorithmia，而Mohiuddin和Simjee在AWS担任技术和工程领导职务。

在某种程度上，Guardrails所提供的并没有与市场上已有的产品有太大的区别。这家初创公司的平台充当了GenAI模型的封装器，具体而言是开源和专有的（例如OpenAI的GPT-4）文本生成模型，旨在使这些模型在表面上更可信、可靠和安全。

然而，Guardrails与众不同之处在于其开放源代码的商业模式——该平台的代码库可以在GitHub上免费使用，并采用了众包的方法。

通过一个名为Guardrails Hub的市场，Guardrails允许开发人员提交名为"验证器"的模块化组件，用于检测GenAI模型的特定行为、合规性和性能指标。验证器可以被其他开发人员和Guardrails的客户部署、重新利用和复用，作为自定义GenAI模型调节解决方案的构建模块。

“通过这个Hub，我们的目标是创建一个开放的论坛，分享知识，并找到推动人工智能采用的最有效方式，同时也希望建立起一套可供任何组织采用的可重复利用的约束条件，” Rajpal说道。

Guardrails Hub中的验证器从基于规则的简单检查到检测和缓解模型中问题的算法不一而足。目前大约有50个验证器，其中包括幻觉和政策违规检测器、专有信息过滤器和不安全代码过滤器。

“大多数公司会对亵渎、可识别个人信息等进行广泛的一刀切检查，”Rajpal表示。“然而，对于一个特定的组织和团队来说，什么属于可接受使用是没有一个通用的定义的。有机构特定的风险需要跟踪，例如不同组织之间的通信政策是不同的。通过这个中心，我们使人们能够直接使用我们提供的解决方案，或者使用它们来获得一个强大的起点解决方案，进而为他们的特定需求进行进一步自定义。”

模型警示岗的中心点是一个有趣的想法。但我内心怀疑开发人员会不会愿意在一个没有任何形式的补偿承诺的平台上贡献自己的力量，尤其是一个刚起步的平台。

拉杰帕尔持乐观态度，他认为他们会采取行动，即使没有其他原因，也是为了获得认可——无私地帮助行业朝着“更安全”的GenAI发展。

“该平台允许开发者了解其他企业所遇到的风险类型以及他们采取的防护措施，用于解决和减轻这些风险，”她补充说。“验证器是这些防护措施的开源实施，组织可以将其应用于他们的使用案例。”

Guardrails AI最近进行了一次种子轮融资，由Zetta Venture Partners领投，Factory、Pear VC、Bloomberg Beta、Github Fund以及包括著名AI专家Ian Goodfellow在内的天使投资者参与，融资金额为750万美元。Rajpal表示，这笔资金将用于扩大Guardrails的团队规模，以及开展更多的开源项目。目前，Guardrails AI还没有为任何服务或软件收费。

她继续说道：“我们与许多企业、小型初创企业和个人开发者交谈，他们因为缺乏所需的保证和风险缓解能力而无法发布GenAI应用程序。这是一个在这个规模上尚未存在的新问题，因为ChatGPT和基础模型的出现。我们希望成为解决这个问题的人。”