（取自NVIDIA臉書粉專）

根據《 marktechpost 》報導，NVIDIA近日開源了一款名為Nemotron-Mini-4B-Instruct 的小語言模型。

Nemotron-Mini-4B-Instruct AI 模型專為角色扮演、檢索增強生成（RAG）及函數調用等任務設計，是一個小語言模型（SLM），通過蒸餾（distilled）和優化更大的 Nemotron-4 15B 獲得。

該模型在 Minitron-4B-Base 模型上微調，採用了 LLM 壓縮技術，最顯著的特點之一是其能夠處理 4096 個上下文窗口詞元（token），能夠生成更長且更連貫的回覆。

Nemotron-Mini-4B-Instruct 以其強大的架構著稱，確保了高效性與可擴展性，該模型的 Embedding Size（決定了轉化後的向量的維度）尺寸為 3072，多頭注意力（Multi-Head Attention）為 32 個，MLP 中間維度為 9216，在處理大規模輸入數據集時，仍能以高精度和相關性作出響應。

本文為品玩授權刊登，原文標題為「英偉達開源 Nemotron-Mini-4B-Instruct 小語言 AI 模型」