Kong的新开源AI Gateway使构建多LLM应用更加容易

API公司Kong今天推出了其开源的AI网关，这是其现有API网关的延伸，允许开发者和运维团队将他们的应用程序与一个或多个大型语言模型（LLM）集成，并通过一个统一的API访问它们。此外，Kong还推出了几个针对AI的特定功能，包括引导工程、凭证管理等。

"我们认为人工智能是API的一个附加应用场景，"Kong的联合创始人兼首席技术官Marco Palladino告诉我说。"API是由各种应用场景驱动的：移动、微服务——而人工智能只是其中最新的一个。当我们看待人工智能时，我们实际上是在全方位地看待API。我们在消费人工智能时看API，我们通过API来优化人工智能，也看AI自身使用API。所以，随着人工智能的发展，API的使用量将会进一步增加。"

Palladino认为，尽管几乎每个组织都在研究如何利用人工智能，但他们也担心数据泄漏。他相信，最终，这些公司将希望在本地运行他们的模型，可能会将云作为备用方案。不过，目前这些公司还需要想办法管理访问基于云的模型的凭证、控制和记录流量、管理配额等。

“通过我们的API网关，我们希望提供一种能让开发者在构建人工智能时更加高效的解决方案，开发者可以利用我们的网关来消耗一个或多个LLM（语言模型）提供商的能力，而无需改变他们的代码”，他指出。该网关目前支持Anthropic、Azure、Cohere、Meta的LLaMA模型、Mistral和OpenAI。

Kong团队认为，目前大多数其他API提供者都以与其他API相同的方式管理AI API。然而，通过在API之上增加这些额外的针对AI的功能，Kong团队相信可以实现新的用例（或者至少使现有用例更容易实现）。使用新的AI网关中的AI响应和请求转换器，开发人员可以即时更改提示和结果，自动翻译或删除个人身份信息，比如。

快速工程也深度融入到网关中，使企业能够在这些模型之上执行其准则。这也意味着有一个集中管理这些准则和提示的中心点。

距离Kong API管理平台的发布已经将近九年了。当时，现在的Kong公司还被称为Mashape，但正如Mashape/Kong的联合创始人兼首席执行官Augusto Marietti本周早些时候在一次采访中告诉我，这几乎是一个最后的努力。“Mashape毫无进展，然后Kong成为了GitHub上排名第一的API产品，”他说道。Marietti指出，上个季度Kong实现了正现金流，并且目前不再寻求融资，所以这一切进行得相当顺利。

现在，Kong网关是公司平台的核心，也是新的AI网关的动力。事实上，当前Kong用户只需升级他们现有的安装即可获得所有新的AI功能的访问权限。

目前，这些新的人工智能功能是免费提供的。随着时间的推移，孔（Kong）预计还会推出付费高级功能，但团队强调这不是当前版本的目标。