將驅動下一代的 AI 模型!Google發表第六代Trillium TPU
何渝婷
2024-05-15 09:50

Google年度開發者大會Google I/O,在台灣時間5月15日凌晨1點登場!

而在大會中,Google正式發表第六代Google Cloud TPU「Trillium」,被該公司稱為迄今為止效能最高以及最節能的TPU,而第六代Trillium TPU預計將於今年底前推出。

TPU是專為神經網路而打造的,若是少了它,現在大家所習慣的即時語音搜尋、相片物件辨識、互動式語言翻譯,甚至是Gemini、Imagen及Gemma等基礎模型服務都無法問世。

針對新一代TPU,Google擴大矩陣乘法單元(MXU)的大小、提高時脈速度(clock speed),使Trillium與TPU v5e相比,每個晶片尖峰效能提升了4.7倍、高頻寬記憶體(HBM)的容量與頻寬提升1倍、晶片間互連網路(ICI)頻寬也提高一倍。

除此之外,Trillium 還配備了第三代SparseCore,透過策略性卸載來自 TensorCores隨機與細粒度存取,以加速繁重的嵌入型工作負載,藉此處理超大嵌體的專用加速器,常用於處理進階排名與推薦工作負載,也使其可以更快速地訓練下一代基礎模型,並以較短的延遲時間與較低成本來提供模型服務。

Google強調,Trillium TPU將驅動下一代的AI模型,成為下一波AI模型和虛擬專員的推手,像是自動駕駛汽車公司Nuro透過使用Cloud TPU訓練自家模型來打造機器人;Deep Genomics藉助AI推動藥物發現的未來,並期待運用由Trillium TPU所支援的下一代基礎模型來改變病患的生活;勤業眾信則將透過Trillium TPU來幫助企業利用生成式AI進行轉型。

(以上圖片取自Google Blog)