馬斯克：下一代大模型Grok 3將需要10萬塊英偉達(dá)H100

激石Pepperstone(http://xcvvvm.com/)報道：

特斯拉首席執(zhí)行官埃隆·馬斯克最近在接受采訪時，做出了關(guān)于通用人工智能（AGI）發(fā)展的大膽預(yù)言。

他認(rèn)為：

AGI有可能在未來2年實現(xiàn)超越人類智能的突破，但這一進(jìn)程需要大量的GPU以及電力消耗。

據(jù)馬斯克透露，旗下的人工智能公司xAI目前正在對第二代大語言模型Grok 2進(jìn)行訓(xùn)練，預(yù)計將在5月完成下一訓(xùn)練階段。Grok 2的訓(xùn)練已經(jīng)耗費(fèi)了約2萬塊英偉達(dá)H100 GPU。未來進(jìn)階版本Grok 3的開發(fā)可能需要高達(dá)10萬塊英偉達(dá)H100 GPU。

馬斯克指出：

當(dāng)前AI技術(shù)的發(fā)展面臨兩大難題：一是高端GPU，如英偉達(dá)H100的供應(yīng)短缺，要快速獲得10萬塊GPU并非易事；二是巨大的電力需求。一臺英偉達(dá)H100 GPU在全負(fù)荷工作時約消耗700瓦電力，因此10萬塊這樣的GPU將消耗高達(dá)70兆瓦的電力。若考慮到服務(wù)器和冷卻系統(tǒng)的需求，一個配備有10萬塊英偉達(dá)H100處理器的數(shù)據(jù)中心的電力消耗大概會達(dá)到100兆瓦，相當(dāng)于一個小城市的用電量。

這兩大限制因素凸顯了擴(kuò)展AI技術(shù)以滿足不斷增長的計算需求所面臨的挑戰(zhàn)。

盡管如此，計算和存儲技術(shù)的進(jìn)步將使得未來幾年能夠訓(xùn)練更為龐大的大型語言模型成為可能。英偉達(dá)在科技盛會GTC 2024上展示的Blackwell B200 GPU平臺，旨在支持可擴(kuò)展至數(shù)萬億參數(shù)的大語言模型，預(yù)示著AGI發(fā)展的關(guān)鍵一步。

馬斯克預(yù)計：

一種比最聰明的人類還智能的人工智能，在未來一至兩年內(nèi)就會誕生。如果將AGI定義為智能超過最聰明的人類，我認(rèn)為它很可能在明年，或兩年內(nèi)實現(xiàn)。?????????