Nvidia推出NIM，使得部署AI模型到生产环境更加顺畅

在Nvidia的GTC大会上，今天宣布了Nvidia NIM，这是一个新的软件平台，旨在简化将定制和预训练的AI模型部署到生产环境中。NIM将Nvidia围绕推断和优化模型所做的软件工作整合在一起，通过将给定模型与优化推断引擎结合起来，然后将其打包成一个容器，使其作为一个微服务易于访问。

通常情况下，开发人员需要几周甚至几个月的时间才能交付类似的容器，Nvidia认为，即使公司内部有AI人才，也是如此。通过NIM，Nvidia明显的目标是创建一个AI准备的容器生态系统，利用其硬件作为基础层，并将这些精心筛选的微服务作为核心软件层，以加快公司的AI路线图。

NIM 目前支持来自NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock 的模型，以及来自 Google、Hugging Face、Meta、Microsoft、Mistral AI 和 Stability AI 的开源模型。NVIDIA 已经与亚马逊、谷歌和微软合作，分别在 SageMaker、Kubernetes Engine 和 Azure AI 上提供这些 NIM 微服务。它们还将整合到 Deepset、LangChain 和 LlamaIndex 等框架中。

在今天的发布会上，英伟达企业计算主管Manuvir Das表示：“我们相信Nvidia GPU 是运行这些模型推理的最佳选择，而且我们认为NVIDIA NIM 是开发人员可以构建在其上以专注于企业应用的最佳软件包和最佳运行时，让他们只需让 Nvidia去以最高效的企业级方式为他们生成这些模型，以便他们能够继续完成其余的工作。”

至于推理引擎，Nvidia将使用 Triton 推理服务器，TensorRT 和 TensorRT-LLM。通过 NIM 提供的一些 Nvidia 微服务将包括用于定制语音和翻译模型的 Riva，用于路由优化的 cuOpt 以及用于天气和气候模拟的 Earth-2 模型。

公司计划随着时间的推移增加额外的功能，例如将Nvidia的RAG LLM操作员作为NIM提供，这将使构建可以引入自定义数据的生成式AI聊天机器人变得更加容易。

在没有一些客户和合作伙伴的公告的情况下，这个开发者大会就不完整了。NIM目前的用户包括Box、Cloudera、Cohesity、Datastax、Dropbox和NetApp等公司。

NVIDIA的创始人兼首席执行官黄仁勋表示：“已建立的企业平台拥有大量的数据宝藏，可以转化为生成式AI副驾驶员。与我们的合作伙伴生态系统一起创建，这些容器化AI微服务是各行业企业成为AI公司的基石。”