NVIDIA推出NIM，讓AI模型更順利地部署到生產中

根據《 TechCrunch 》報導，在 GTC 會議上，NVIDIA 宣布推出NVIDIA NIM，這是一個新的軟體平台，旨在簡化訂製和預先訓練的 AI 模型在生產環境中的部署。

NIM 繼承了 NVIDIA 圍繞推理和優化模型所做的軟體工作，並通過將給定模型與優化的推理引擎相結合，然後將其打包到容器中，使其作為微服務進行訪問，從而使其易於訪問。

NVIDIA表示，通常情況下，開發人員需要數週甚至數月的時間才能運送類似的容器，而且前提是該公司甚至擁有任何內部人工智慧人才。

通過 NIM，NVIDIA 的明確目標是創建一個 AI 就緒容器生態系統，使用其硬體作為基礎層，將這些精選的微服務作為希望加快 AI 路線圖的公司的核心軟體層。

NIM 目前支持 NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock 的模型，以及 Google、Hugging Face、Meta、Microsoft、Mistral AI 和 Stability AI 的開放模型。

NVIDIA 已經與亞馬遜、Google和微軟合作，分別在 SageMaker、Kubernetes Engine 和 Azure AI 上提供這些 NIM 微服務，它們還將集成到 Deepset、LangChain 和 LlamaIndex 等框架中。

至於推理引擎，Nvidia 將使用 Triton Inference Server、TensorRT 和 TensorRT-LLM，通過 NIM 提供的一些 Nvidia 微服務將包括用於訂製語音和翻譯模型的 Riva、用於路由優化的 cuOpt 以及用於天氣和氣候模擬的 Earth-2 模型。

該公司計劃隨著時間的推移添加額外的功能，例如，包括將 NVIDIA RAG LLM 運算符作為 NIM 提供，這有望使建構可以更輕鬆地提取自定義數據的生成式 AI 聊天機器人變得更加容易。

如果沒有一些客戶和合作夥伴的公告，這就不算是一次開發者大會，NIM 目前的用戶包括 Box、Cloudera、Cohesity、Datastax、Dropbox和 NetApp 等。

NVIDIA 創辦人兼執行長黃仁勳 (Jensen Huang) 表示：「成熟的企業平台坐擁數據金礦，可以轉化為生成型 AI 副駕駛。」「這些容器化人工智慧微服務是與我們的合作夥伴生態系統共同創建的，是各行業企業成為人工智慧公司的基石。」