雪花发布了一款旗舰生成式人工智能模型

曾经，全面的、高度通用的生成式人工智能模型是最热门的选择，可以说现在仍然如此。但是，随着大大小小的云供应商加入生成式人工智能行列，我们看到了一批新模型专注于最有潜力的企业客户群：企业。

举例来说：云计算公司Snowflake今天发布了Arctic LLM，这是一个被称为“企业级”的生成式人工智能模型。Snowflake表示，Arctic LLM遵循Apache 2.0许可协议，专为“企业工作负载”进行优化，包括生成数据库代码，并且可供研究和商业使用免费。

“我认为这将是让我们 - 雪花公司 - 以及我们的客户构建企业级产品并真正开始实现人工智能的承诺和价值的基础，”首席执行官Sridhar Ramaswamy在新闻发布会上表示。“你应该把这看作是我们在生成式人工智能领域迈出的第一步，但这是一个重要的一步，未来还有更多。”

一个企业模型

我的同事Devin Coldewey最近写了一篇关于生成式AI模型无休止袭击的文章。我建议你阅读他的文章，但要点是：模型是厂商为他们的研发活动制造兴奋的简便途径，同时也作为他们产品生态系统的漏斗（例如模型托管、微调等）。

北极LLM并没有什么不同。作为一家名为Arctic的生成式人工智能模型家族中的旗舰型号，北极LLM经过大约三个月、1000个GPU和200万美元的训练之后问世，这一消息是在Databricks的DBRX之后推出的，DBRX也是一种生成式人工智能模型，被推广为专为企业空间优化的模型。

雪花在其新闻材料中直接将北极LLM和DBRX进行比较，表示北极LLM在编码（具体编程语言未指明）和SQL生成这两项任务中优于DBRX。该公司表示，北极LLM在这些任务上也优于Meta的Llama 2 70B（但不如更新的Llama 3 70B）和Mistral的Mixtral-8x7B。

Snowflake还声称，Arctic LLM在流行的通用语言理解基准测试MMLU上实现了“领先的性能”。但值得注意的是，虽然MMLU声称评估生成模型推理逻辑问题的能力，但其中包括一些可以通过死记硬背解决的测试，因此对此要持保留态度。

"Arctic LLM针对企业领域内的具体需求，" Snowflake的AI主管Baris Gultekin在接受TechCrunch采访时表示，"与撰写诗歌等通用AI应用不同，Arctic LLM专注于企业导向挑战，比如开发SQL共驾机和高质量聊天机器人。"

阿尔克提克LLM是一种专家混合体结构，就像DBRX和谷歌目前表现最优秀的生成模型Gemini 1.5 Pro一样。专家混合体结构基本上将数据处理任务分解为子任务，然后委派给更小、更专门的“专家”模型。因此，尽管阿尔克提克LLM包含4800亿参数，但一次只激活170亿个参数，足以驱动128个独立的专家模型。（参数基本上定义了AI模型在问题上的技能，比如分析和生成文本。）

雪花声称，这种高效的设计使得它能够以“大约相似模型成本的八分之一”训练北极LLM模型，使用了开放式公共网络数据集（包括RefinedWeb、C4、RedPajama和StarCoder）。

到处奔跑

Snowflake 正为用户提供资源，比如编码模板和培训来源列表，以辅导用户完成将模型投入运行并针对特定用例进行微调的过程。不过要注意，对大多数开发者来说，这些工作可能是昂贵且复杂的（对 Arctic LLM 进行微调或运行需要大约八个 GPU）。因此，Snowflake 承诺将 Arctic LLM 提供给一系列主机，包括 Hugging Face、Microsoft Azure、Together AI 的模型托管服务以及企业生成式 AI 平台 Lamini。

然而，问题在于：Arctic LLM将首先在Cortex上推出，这是Snowflake用于构建基于人工智能和机器学习的应用和服务的平台。该公司意料之中地将其宣传为运行Arctic LLM的首选方式，具有“安全性”、“治理”和可伸缩性。

拉马斯瓦米说：“我们在这里的梦想是，在一年内，拥有一个API，让我们的客户可以使用，这样业务用户可以直接与数据交流。我们本可以选择说，‘哦，我们可以等待一些开源模型然后使用。’相反，我们正在进行基础性投资，因为我们认为这将为我们的客户带来更多价值解锁。”

那么我不禁要思考：除了Snowflake客户外，谁真正适合使用Arctic LLM？

在一个充满“开放”生成模型的景观中，可以对其进行调优以适用于几乎任何目的，北极LLM并没有明显突出之处。其架构可能会比其他一些选择带来效率提升。但我不认为这些效率提升足以让企业放弃众多其他众所周知、得到支持、对商业友好的生成模型（例如GPT-4）。

在考虑到北极低速车辆数量相对较小的情况时，也有一个不利的因素需要考虑：它的相对较小的范围。

在生成式人工智能中，上下文窗口是指模型在生成输出（例如更多文本）之前考虑的输入数据（例如文本）。上下文窗口较小的模型容易忘记即使是最近的对话内容，而上下文较大的模型通常能避免这种问题。

Arctic LLM的语境大约是8000到24000字，取决于微调方法——远低于Anthropic的Claude 3 Opus和Google的Gemini 1.5 Pro等模型。

雪花在营销中没有提到，但极地LLM几乎肯定会遭受与其他生成AI模型相同的局限和缺陷 - 即幻觉（例如对请求的错误自信答复）。这是因为极地LLM以及存在的每一个生成AI模型都是一个统计概率机器 - 具有一个很小的上下文窗口。它根据大量示例猜测，哪些数据是最“合理”放置在哪里（例如在句子“I go to the market”中的“go”之前的“the market”一词）。它将不可避免地猜错 - 这就是“幻觉”。

正如德文在他的文章中所写，直到下一个重大技术突破，我们在生成式人工智能领域只能期待渐进式改进。尽管如此，这并不能阻止像Snowflake这样的供应商将它们奉为伟大的成就，并充分利用它们进行营销。