NVIDIA推出AI模型推理微服務NVIDIA NIM
品玩 / 何渝婷編譯
2024-06-03 09:56

根據NVIDIA官方消息,NVIDIA一項AI模型推理服務NVIDIA NIM。

全球2800萬的NVIDIA開發者,可以通過NIM將AI模型部署在雲端、數據中心或工作站上,輕鬆地建構Copilots、ChatGPT聊天機器人等生成式 AI 應用,所需時間從數週縮短至幾分鐘。

NVIDIA表示,未來,開發者們可以在幾分鐘內,輕鬆建構生成式AI應用程式,NIM還支援Meta Llama 3-8B,可以在加速基礎設施上生成多達3倍的token。

本文為品玩授權刊登,原文標題為「英偉達推出AI模型推理微服務NVIDIA NIM