黃仁勳對話Transformer論文作者:當前的模型太過經濟實惠
愛范兒 / 何渝婷編譯
2024-03-27 14:23

(取自NVIDIA官網)

在 GTC 大會上,NVIDIA的創辦人兼 CEO 黃仁勳邀請到了 Transformer 的七位作者(Niki Parmar 因故臨時未能出席)來參與圓桌論壇的討論。這也是 Transformer 論文的幾位作者,首次在公開場合集體亮相。

在這次長達一個小時的對話中, Transformer 的幾位作者也表達了一些讓人記憶深刻的觀點:

論文作者之一 Noam Shazeer 認為,當前的模型太過經濟實惠,規模也還太小,並且每個 token 進行一兆次運算,大概是一美元百萬 token,這比外出購買一本平裝書並閱讀的成本要便宜 100 倍。

而另一位論文作者 Aidan Gomez 則表示,這個世界需要比 Transformer 更好的東西,「我想我們在座的所有人都希望它能被某種東西所取代,將我們帶到一個新的性能高原」。

本文為愛范兒授權刊登,原文標題為「黃仁勳對話 Transformer 論文作者