英偉達(dá)AI盛會GTC揭幕，最強(qiáng)AI芯片Blackwell來了！

激石Pepperstone(http://xcvvvm.com/)報道：

號稱今年全球頭號人工智能（AI）領(lǐng)域開發(fā)者大會的英偉達(dá)2024 GTC AI大會于美東時間3月18日周一拉開帷幕。

今年是英偉達(dá)時隔五年首次讓年度GTC重回線下，也是此前分析認(rèn)為英偉達(dá)要“拿出點真家伙”的AI盛會。

當(dāng)?shù)貢r間周一下午，英偉達(dá)創(chuàng)始人兼CEO 黃仁勛在美國加州圣何塞SAP中心進(jìn)行主題為“面向開發(fā)者的1#AI峰會”（1# AI Conference for Developers）演講。

Blackwell成本和能耗較前代改善25倍 全球最強(qiáng)大芯片?臺積電4 nm制程

黃仁勛介紹了運(yùn)行AI模型的新一代芯片和軟件。英偉達(dá)正式推出名為Blackwell的新一代AI圖形處理器（GPU），預(yù)計將在今年晚些時候發(fā)貨。

Blackwell平臺能夠在萬億參數(shù)級的大型語言模型（LLM）上構(gòu)建和運(yùn)行實時生成式 AI，而成本和能耗比前代改善25倍。

英偉達(dá)稱，Blackwell擁有六項革命性的技術(shù)，可以支持多達(dá)10萬億參數(shù)的模型進(jìn)行AI訓(xùn)練和實時LLM推理：

• 全球最強(qiáng)大的芯片：Blackwell 架構(gòu) GPU由 2080 億個晶體管組成，采用量身定制的臺積電4納米（nm）工藝制造，兩個reticle極限GPU裸片將10 TB/秒的芯片到芯片鏈路連接成單個統(tǒng)一的GPU 。
• 第二代 Transformer引擎：結(jié)合了Blackwell Tensor Core技術(shù)和TensorRT-LLM和 NeMo Megatron 框架中的 英偉達(dá)先進(jìn)動態(tài)范圍管理算法，Blackwell 將通過新的4位浮點AI 支持雙倍的計算和模型大小推理能力。
• 第五代 NVLink：為提高數(shù)萬億參數(shù)和混合專家AI 模型的性能，最新一代英偉達(dá)NVLink為每個 GPU 提供了突破性的 1.8TB/s 雙向吞吐量，確保最復(fù)雜LLM之間多達(dá)576 個GPU 之間的無縫高速通信。
• RAS 引擎 ：Blackwell 支持的 GPU 包含一個專用引擎，實現(xiàn)可靠性、可用性和服務(wù)性。 此外，Blackwell 架構(gòu)還增加了芯片級功能，利用基于AI的預(yù)防性維護(hù)進(jìn)行診斷和預(yù)測可靠性問題。這可以最大限度地延長系統(tǒng)正常運(yùn)行時間，并提高大部署規(guī)模AI的彈性，使其能連續(xù)運(yùn)行數(shù)周甚至數(shù)月，并降低運(yùn)營成本。
• 安全人工智能：先進(jìn)的機(jī)密計算功能可在不影響性能的情況下保護(hù)AI模型和客戶數(shù)據(jù)，并支持新的本機(jī)接口加密協(xié)議，這對于醫(yī)療保健和金融服務(wù)等隱私敏感行業(yè)至關(guān)重要。
• 解壓縮引擎：專用解壓縮引擎支持最新格式，加快數(shù)據(jù)庫查詢，提供數(shù)據(jù)分析和數(shù)據(jù)科學(xué)的最高性能。 未來幾年，在企業(yè)每年花費(fèi)數(shù)百億美元的數(shù)據(jù)處理方面，將越來越多地由 GPU 加速。

GB200 NVL72推理性能較H100提升高達(dá)30倍

英偉達(dá)同時介紹超級芯片GB200 Grace Blackwell Superchip，它通過 900GB/s的超低功耗NVLink，將兩個B200 Tensor Core GPU 連接到NVIDIA Grace CPU。

為了獲得最高的 AI 性能，GB200 驅(qū)動的系統(tǒng)可以與周一同時宣布的英偉達(dá)Quantum-X800 InfiniBand 和 Spectrum-X800 以太網(wǎng)平臺連接，這些平臺可提供速度高達(dá) 800Gb/s 的高級網(wǎng)絡(luò)。

GB200是英偉達(dá)GB200 NVL72 的關(guān)鍵組件，GB200 NVL72 是一種多節(jié)點、液冷、機(jī)架規(guī)模系統(tǒng)，適用于計算最密集的工作負(fù)載。 它結(jié)合了 36 個 Grace Blackwell 超級芯片，其中包括通過第五代 NVLink 互連的 72 個 Blackwell GPU 和 36 個 Grace CPU。GB200 NVL72 還包括 NVIDIA BlueField?-3 數(shù)據(jù)處理單元，可在超大規(guī)模 AI 云中實現(xiàn)云網(wǎng)絡(luò)加速、可組合存儲、零信任安全性和 GPU 計算彈性。

相比數(shù)量的H100 Tensor Core GPU 相比，GB200 NVL72 對于 LLM 推理工作負(fù)載的性能提升高達(dá) 30 倍，并將成本和能耗降低高達(dá) 25 倍。

GB200 NVL72平臺充當(dāng)單個 GPU具有 1.4 exaflops 的 AI 性能和 30TB 的快速內(nèi)存，是最新 DGX SuperPOD 的構(gòu)建塊。

英偉達(dá)推出服務(wù)器主板HGX B200，它通過 NVLink 連接八個 B200 GPU，以支持基于 x86 的生成式 AI 平臺。 HGX B200 通過英偉達(dá)Quantum-2 InfiniBand 和 Spectrum-X 以太網(wǎng)網(wǎng)絡(luò)平臺支持高達(dá) 400Gb/s 的網(wǎng)絡(luò)速度。

亞馬遜、微軟、谷歌和甲骨文在首批提供Blackwell支持的云服務(wù)商之列

Blackwell芯片將成為亞馬遜、微軟、谷歌這類全球最大數(shù)據(jù)中心運(yùn)營商部署新電腦和其他產(chǎn)品的基礎(chǔ)?；贐lackwell的產(chǎn)品將在今年晚些時候問世。

英偉達(dá)稱，亞馬遜云AWS、谷歌云、微軟云Azure 和甲骨文云基礎(chǔ)設(shè)施Oracle Cloud Infrastructure將成為首批提供Blackwell支持實例的云服務(wù)提供商，英偉達(dá)云合作伙伴計劃的成員公司Applied Digital、CoreWeave、Crusoe、IBM Cloud 和 Lambda 也將成為首批提供 Blackwell 實例的云服務(wù)提供商。?

面向主權(quán)的Sovereign AI 云還將提供基于 Blackwell 的云服務(wù)和基礎(chǔ)設(shè)施，包括 Indosat Ooredoo Hutchinson、Nebius、Nexgen Cloud、Oracle歐盟主權(quán)云、Oracle 美國、英國和澳大利亞政府云、Scaleway、Singtel、Northern Data Group 的 Taiga Cloud、 Yotta Data Services 的 Shakti Cloud 和 YTL Power International。

黃仁勛說，“三十年來，我們一直在追求加速計算，目標(biāo)是實現(xiàn)深度學(xué)習(xí)和AI這類方面的變革性突破。生成式AI是我們這個時代的決定性技術(shù)。 Blackwell是推動這場新工業(yè)革命的引擎。 通過與世界上最具活力的公司合作，我們將實現(xiàn)AI在各行各業(yè)的承諾?！?/p>

英偉達(dá)在公告通稿中列舉了料將采用Blackwell的一些組織，比如微軟、亞馬遜、谷歌、Meta、戴爾、OpenAI、甲骨文、馬斯克領(lǐng)導(dǎo)的特斯拉和 xAI。黃仁勛介紹了包括這些公司在內(nèi)的更多合作伙伴。

AI項目Project GR00T助力人形機(jī)器人

黃仁勛在演講中披露，英偉達(dá)推出了助力未來人形機(jī)器人的多模態(tài)AI項目Project GR00T。該項目采用通用基礎(chǔ)模型，讓人形機(jī)器人能夠?qū)⑽谋?、語音、視頻甚至現(xiàn)場演示作為輸入那日，并對其進(jìn)行處理，采取特定的通用操作。

Project GR00T由英偉達(dá)Isaac 機(jī)器人平臺工具的幫助下開發(fā)的，其中包括用于強(qiáng)化學(xué)習(xí)的新Isaac 實驗室。

黃仁勛稱，由Project GR00T平臺提供支持的機(jī)器人將被設(shè)計為，通過觀察人類行為來理解自然語言并模仿動作，使它們能快速學(xué)習(xí)協(xié)調(diào)性、靈活性和其他技能，從而適應(yīng)現(xiàn)實世界并在與之互動，絕對不會產(chǎn)生機(jī)器人起義。

黃仁勛說：

“為通用人形機(jī)器人構(gòu)建基本模型是當(dāng)今AI領(lǐng)域能解決的最令人興奮的一個問題。將它能實現(xiàn)的技術(shù)融合在一起，世界各地領(lǐng)先的機(jī)器人專家就可以在人工通用機(jī)器人領(lǐng)域取得巨大飛躍。”

臺積電和Synopsys采用英偉達(dá)光刻技術(shù)

黃仁勛還提到，臺積電和Synopsys將采用英偉達(dá)計算光刻技術(shù)，起用英偉達(dá)的計算光刻平臺CuLitho。

臺積電和Synopsys已經(jīng)整合英偉達(dá)的Culitho W軟件。他們將用英偉達(dá)的下一代 Blackwell GPU 來實現(xiàn)AI 和 HPC 應(yīng)用。

新軟件NIM讓用戶更容易利用已有英偉達(dá)GPU進(jìn)行AI推理

英偉達(dá)同時宣布推出名為英偉達(dá)NIM的推理微服務(wù)，它是優(yōu)化的云原生微服務(wù)，旨在縮短生成式 AI 模型的上市時間并簡化它們在云、數(shù)據(jù)中心和 GPU 加速工作站上的部署。

英偉達(dá)NIM通過使用行業(yè)標(biāo)準(zhǔn) API 抽象化 AI 模型開發(fā)和生產(chǎn)包裝的復(fù)雜性來擴(kuò)展開發(fā)人員庫。它是英偉達(dá)AI Enterprise 的一部分，為開發(fā) AI 驅(qū)動的企業(yè)應(yīng)用程序和在生產(chǎn)中部署 AI 模型提供了簡化的路徑。

NIM讓用戶使用舊版英偉達(dá)GPU進(jìn)行推理或運(yùn)行AI軟件的過程變得更容易，并允許企業(yè)客戶繼續(xù)用他們已有的英偉達(dá)GPU。推理所需的算力比最初訓(xùn)練新的AI模型的少。 NIM 讓企業(yè)能運(yùn)行自己的AI 模型，而不是從OpenAI 等公司購買AI的成果。

基于英偉達(dá)服務(wù)器的客戶只要訂閱英偉達(dá)AI Enterprise 就可使用NIM，每個GPU每年的許可費(fèi)用為 4500 美元。

英偉達(dá)將與微軟和Hugging Face 等AI公司合作，確保他們的AI模型能夠在所有兼容的英偉達(dá)芯片上運(yùn)行。使用NIM的開發(fā)者可以在自己的服務(wù)器或基于云的 英偉達(dá)服務(wù)器上高效地運(yùn)行模型，而無需冗長的配置過程。

評論稱，NIM這種軟件讓部署AI變得更容易，不但為英偉達(dá)創(chuàng)收，而且給客戶提供了又一個堅持使用英偉達(dá)芯片的理由。?????????