Giga ML希望帮助公司在离线环境下部署LLMs

人工智能正在风靡一时，尤其是文本生成的人工智能，也被称为大型语言模型（类似于ChatGPT这样的模型）。在最近对约1000家企业组织进行的调查中，67.2%的企业表示他们计划在2024年初将采用大型语言模型（LLMs）作为首要事项。

但是存在一些障碍。根据同一项调查，缺乏个性定制和灵活性，以及无法保留公司知识和知识产权，一直以来阻碍着许多企业将LLM投入生产。

这激发了瓦伦·瓦马迪（Varun Vummadi）和艾莎·曼尼德普·丁内（Esha Manideep Dinne）的思考：改进企业采用LLM的挑战需要什么样的解决方案？为了寻找解决方案，他们创办了Giga ML，一家初创公司，正在构建一个平台，可以让企业在内部部署LLM，从而降低成本并保护隐私。

“数据隐私和定制化LLMs是企业在采用LLMs解决问题时面临的最大挑战之一”，Vummadi在一封电子邮件采访中告诉TechCrunch。 “Giga ML同时解决了这两个挑战。”

Giga ML提供自己的LLM套件，名为“X1系列”，用于生成代码和回答常见的客户问题（例如，“我可以期待我的订单何时到达？”）。该初创公司声称这些模型是基于Meta的Llama 2构建的，在某些基准测试中胜过流行的LLMs，尤其是对话的MT-Bench测试集。但是很难定性地比较X1和其他模型的差异；这位记者尝试了Giga ML的在线演示，但遇到了技术问题。（无论我输入什么提示，该应用都会超时。）

即使Giga ML的模型在某些方面优秀，它们是否真能在开源的离线LLMs的海洋中引起轰动呢？

在与Vummadi交谈中，我感到Giga ML并不是试图创建表现最好的LLM，而是在建立工具，让企业能够在本地进行LLM的微调，而不必依赖第三方资源和平台。

“Giga ML的使命是帮助企业在自己的本地基础设施或者虚拟私有云上安全高效地部署LLM系统，” Vummadi说道。“通过简化训练、优化和运行LLM系统的流程，并且通过易于使用的API来处理，Giga ML消除了与此相关的任何麻烦。”

Vummadi 强调了离线运行模型的隐私优势-这些优势很可能对一些企业具有说服力。

低代码人工智能开发平台Predibase发现，仅不到四分之一的企业愿意使用商业化的语言模型（LLMs），因为担心与供应商分享敏感或专有数据。在调查中，近77%的受访者表示，他们要么不使用商业化的LLMs，要么不打算在生产中使用，原因涉及隐私、成本和缺乏定制化等问题。

“由于Giga ML在本地机构的安全部署、可以根据特定用例定制的模型和快速推理的价值，从而确保数据合规和最大效率，C级别的IT经理对Giga ML的产品表示认可。” Vummadi说道。

Giga ML是一家创业公司，迄今为止已从多家风险投资公司，包括Nexus Venture Partners，Y Combinator, Liquid 2 Ventures，8vdx等募集到了大约374万美元的资金。Giga ML计划在短期内扩大团队规模，并加大产品研发力度。Vummadi透露，这部分资金也将用于支持Giga ML目前正在合作的一些金融和医疗企业客户群体。