为什么代码测试初创公司Nova AI更多地使用开源LLMs，而不是OpenAI？

人类天性的普遍真理是，编写代码的开发人员不应该是测试代码的人。首先，他们中的大多数人几乎讨厌这项任务。其次，就像任何良好的审计协议一样，应该由做工作的人来核实工作。

毫不奇怪，代码测试在各种形式中 - 如可用性测试、语言或任务特定测试、端到端测试 - 已成为一批不断增长的生成AI初创公司的关注焦点。每周，TechCrunch都会报道另一个像Antithesis（筹集了4700万美元）；CodiumAI（筹集了1100万美元）；QA Wolf（筹集了2000万美元）这样的公司。而且像新的Y Combinator毕业生Momentic一样，新公司也在不断涌现。

另一家创立仅一年的初创公司是Nova AI，它是不寻常学院的毕业生加速器，已经筹集了100万美元的种子轮。创始人兼首席执行官扎克·史密斯告诉TechCrunch，Nova AI试图通过打破许多硅谷初创公司运营的规则，利用端到端测试工具来超越竞争对手。

尽管标准 Y Combinator 方法是从小规模开始，Nova AI 的目标是中型到大型企业，其代码库复杂且迫切需要。史密斯拒绝透露任何使用或测试其产品的客户，只是描述他们大多是电子商务、金融科技或消费品行业的后期阶段（C轮及以后）的风投支持初创公司，“重度用户体验。对于这些功能的停机时间是昂贵的。”

Nova AI的技术通过GenAI自动筛选客户的代码，以构建测试。它特别适用于持续集成和持续交付/部署（CI/CD）环境，在这些环境中，工程师们不断将各种组件提交到他们的生产代码中。

Nova AI的创意源自史密斯和共同创始人史杰夫·施或在大型科技公司担任工程师时的经验。史密斯是一位前谷歌员工，曾在云相关团队工作，帮助客户使用大量自动化技术。施之前曾在Meta（之前也在Unity和微软）工作，拥有罕见的AI专业技能，涉及合成数据。他们后来加入了第三位共同创始人，AI数据科学家李亨利。

Nova AI还没有遵守的另一个规则是：虽然大量的人工智能初创公司正在构建基于OpenAI行业领先的GPT的产品，但Nova AI尽可能少地使用OpenAI的Chat GPT-4，仅用来帮助生成一些代码和完成一些标注任务。没有将客户数据提供给OpenAI。

虽然OpenAI承诺那些付费商业计划的用户数据不会被用来训练其模型，但企业仍然不信任OpenAI，Smith告诉我们。“当我们与大型企业交谈时，他们会说：‘我们不希望我们的数据进入OpenAI，”Smith说道。

许多大公司的工程团队都有同感。OpenAI正应对来自那些不希望其使用他们的作品进行模型训练，或者认为自己的作品未经授权以及未付报酬就出现在其输出结果中的诉讼。

Nova AI在很大程度上依赖于开源模型，比如由Meta和StarCoder（由ServiceNow和Hugging Face开发的BigCoder社区）开发的Llama，同时也在构建自己的模型。Smith表示，他们尚未与客户使用Google的Gemma，但已经进行了测试并“看到了不错的结果”。

例如，他解释说，OpenAI GPT4 的常见用途是在数据上“生成向量嵌入”，这样 LLM 模型就可以使用这些向量进行语义搜索。向量嵌入将文本片段转换为数字，以便 LLM 可以执行各种操作，比如将它们与其他相似文本的片段进行聚类。Nova AI 正在使用 OpenAI 的 GPT4 在客户源代码上进行这项工作，但是他们并不会将任何数据发送到 OpenAI。

Smith解释道：“在这种情况下，我们不再使用OpenAI的嵌入模型，而是部署我们自己的开源嵌入模型，这样当我们需要运行所有文件时，我们不会只是将其发送到OpenAI。”

尽管不将客户数据发送给OpenAI可安抚担心的企业，但Smith发现，开源AI模型也更便宜且完全足够用于执行特定任务。在这种情况下，它们非常适用于编写测试。

"开放的LLM行业正在确实证明他们可以击败GPT 4和这些大型领域提供商，当你走得很狭窄时,"他说。"我们不必提供一个庞大的模型，可以告诉你奶奶想要什么生日礼物。对吧？我们只需要编写一个测试。就这样。所以我们的模型专门针对这个进行了调整。"

开源模型也在迅速发展。例如，Meta最近推出了一款新版本的Llama，在技术领域受到了赞誉，这可能会说服更多的人工智能初创公司关注OpenAI的替代方案。