Databricks在新的DBRX生成式人工智能模型上花费了1000万美元，但它无法打败GPT-4

如果您想提升您的主要科技公司的知名度，并且有1000万美元的预算，您会如何使用这笔资金？在超级碗广告上还是在F1赛事赞助上？

你可以用来训练一个生成式人工智能模型。虽然不是传统意义上的营销方式，但生成式模型能够吸引注意力，并越来越成为引流到供应商核心产品和服务的捷径。

Databricks今天宣布了一款新的生成式人工智能模型DBRX，类似于OpenAI的GPT系列和Google的Gemini。DBRX在GitHub和人工智能开发平台Hugging Face上可供研究和商业使用。DBRX有基础版（DBRX Base）和定制版（DBRX Instruct），可以在公共、定制或专有数据上运行和调整。

Naveen Rao, Databricks的生成AI副总裁告诉TechCrunch在一次采访中说：“DBRX经过训练，旨在提供各种主题的信息并且具有很大的实用性。”“DBRX已经针对英语使用进行了优化和调整，但也能够进行对话和翻译成多种语言，比如法语、西班牙语和德语。”

Databricks将DBRX描述为与Meta的Llama 2和人工智能初创公司Mistral的模型类似的“开源”方式。(关于这些模型是否真正符合开源的定义，存在激烈的争论。)

Databricks表示，他们花费了大约1000万美元和8个月的时间培训DBRX模型。该公司声称（引用一份新闻稿），DBRX模型在标准基准测试中“超越了所有现有的开源模型”。

但是 — 这就是市场上的难题 — 如果你不是戴通客户，就很难使用DBRX。

这是因为，为了在标准配置下运行DBRX，您需要一个至少配备四个 Nvidia H100 GPU 的服务器或个人电脑。 单个H100的价格达到数千美元 — 可能更高。 这对于一般大企业来说可能只是小数目，但对于许多开发者和个体经营者来说，这已经超出他们的承受范围。

而且还有附加的细则。Databricks 表示，拥有超过7亿活跃用户的公司将面临类似于Llama 2 的“某些限制”，并且所有用户必须同意使用DBRX时“负责任”的条款。 (截至发表时，Databricks并没有主动透露这些条款的具体内容。)

Databricks将其Mosaic AI Foundation Model产品展示为解决这些障碍的托管解决方案，除了运行DBRX和其他模型外，还提供了一个训练堆栈，用于在自定义数据上对DBRX进行微调。Rao建议，客户可以使用Databricks的模型服务提供私人主机DBRX，或者他们可以与Databricks合作，在选择的硬件上部署DBRX。

饶补充道：

Databricks声称DBRX比Llama 2运行速度快了一倍，部分原因在于其专家混合(MoE)架构。MoE基本上将数据处理任务分解为多个子任务，然后将这些子任务委托给小型、专业化的“专家”模型，这一点与Llama 2、Mistral的新模型以及Google最近宣布的Gemini 1.5 Pro有共同之处。

大多数 MoE 模型有八位专家。DBRX 有 16 位专家，Databricks 表示这可以提高质量。

质量是相对的。

尽管 Databricks 声称 DBRX 在某些语言理解、编程、数学和逻辑基准方面优于 Llama 2 和 Mistral 的模型，但在像数据库编程语言生成之类的领域之外，DBRX 在可生成的 AI 模型中表现最佳的 OpenAI 的 GPT-4 方面仍存在不足。

饶先生承认DBRX还有其他限制，就像所有其他生成式人工智能模型一样，它可能会受到“幻觉”问题的影响，尽管Databricks进行了安全测试和红队演练。因为该模型仅仅是训练来将单词或短语与某些概念关联起来，如果这些关联并不完全准确，它的回答也就不总是准确的。

另外，DBRX不是多模态的，不像一些更新的旗舰生成式人工智能模型，例如 Gemini。 （它只能处理和生成文本，而不能是图像。）而且我们并不清楚用来训练它的数据来源。 Rao 只是透露说没有用 Databricks 客户数据来训练 DBRX。

“我们对来自不同来源的大量数据集进行了DBRX的训练，”他补充说。“我们使用了社区熟悉、喜爱并日常使用的开放数据集。”

我问饶先生，DBRX培训数据集中是否有任何版权或许可，或显示明显的偏见迹象（例如种族偏见），但他没有直接回答，只是说：“我们在使用数据方面非常谨慎，并进行了红队演练来改善模型的弱点。”生成式人工智能模型有将训练数据反复呕吐的倾向，这对那些在未经许可、有版权或非常明显偏见数据上训练的模型的商业用户来说是一个重大关注点。在最糟糕的情况下，用户可能因无意中将模型中侵犯知识产权或带有偏见的作品纳入其项目而陷入道德和法律困境。

一些公司培训并发布生成式AI模型，提供覆盖可能侵权引起的法律费用的政策。戴拜客目前还未提供这样的政策 — 雷奥表示公司正在“探讨可能出现的情况”。

考虑到DBRX在其他方面的缺陷，这款模型似乎除了现有或潜在的Databricks客户，很难吸引其他人。Databricks在生成AI领域的竞争对手，包括OpenAI，提供同样甚至更具竞争力的技术，价格也非常有吸引力。而且许多生成AI模型比DBRX更接近普遍理解的开源定义。

Rao承诺，Databricks将继续完善DBRX，并发布新版本，公司的Mosaic Labs研发团队-也就是DBRX背后的团队-正在研究新的生成式人工智能途径。

他说：“DBRX正在推动开源模型领域向前发展，并挑战未来的模型更高效地构建。” “随着我们应用技术来提高输出质量方面的可靠性、安全性和偏向性，我们将发布不同的变体……我们认为开放模型是一个平台，我们的客户可以在此基础上使用我们的工具构建定制功能。”

根据DBRX相对同行的现状，可以看出它还有漫长的道路要走。