作為AI芯片和計算系統(tǒng)的主要供應(yīng)商，英偉達(dá)已躍升為全球市值最高的上市半導(dǎo)體公司,。近日英偉達(dá)CEO在COMPUTEX大會上更是接連甩出了多項重磅新品,，包括GH200超級芯片、大內(nèi)存生成式AI超級計算機(jī)DGX GH200……
GH200超級芯片
其中,，Grace Hopper超級芯片GH200已經(jīng)全面投產(chǎn),。這些芯片是英偉達(dá)新推出的DGX GH200人工智能超級計算平臺和 MGX 系統(tǒng)的核心組件,，它們專為處理海量的生成型人工智能任務(wù)而設(shè)計,。
GH200是英偉達(dá)開發(fā)的基于Arm架構(gòu)的CPU+GPU集成方案,，它將72核的Grace CPU,、Hopper GPU、96GB 的HBM3和512 GB的LPDDR5X集成在同一個封裝中,，共有2000億個晶體管,。這種組合提供了CPU和GPU之間驚人的數(shù)據(jù)帶寬，高達(dá)1TB /s,，為某些內(nèi)存受限的工作負(fù)載提供了巨大的優(yōu)勢,。
DGX GH200超級計算機(jī)
DGX GH200人工智能超級計算機(jī)則集成了英偉達(dá)最先進(jìn)加速計算和網(wǎng)絡(luò)技術(shù)。
這款超算專為大規(guī)模生成式AI的負(fù)載所設(shè)計,，由256塊GH200超級芯片組成,，擁有1 exaflop超凡AI性能、144TB內(nèi)存（是英偉達(dá)目前DGX A100系統(tǒng)的近500倍）,、150英里光纖,、2000多個風(fēng)扇。
預(yù)計DGX GH200將于今年年底投入問世,，英偉達(dá)暫未公布價格,，而谷歌云、Meta與微軟將是首批用戶,。
同時,，英偉達(dá)也正在打造自家基于DGX GH200的大型AI超級計算機(jī)NVIDIA Helios，以支持其研究和開發(fā)團(tuán)隊的工作,。其中采用4個DGX GH200系統(tǒng),、1024顆Grace Hopper超級芯片，每個都將與英偉達(dá)Quantum-2 InfiniBand網(wǎng)絡(luò)連接,，帶寬高達(dá)400Gb/s,，將于今年年底上線。
CPU成本,、功耗,、處理數(shù)據(jù)量不如GPU
在本次大會上，英偉達(dá)CEO還以數(shù)據(jù)中心成本架構(gòu)比較,，直言以GPU建置的數(shù)據(jù)中心將遠(yuǎn)低于 CPU,，強(qiáng)調(diào)買越多、省越多 (The more you buy, the more you save.),。
英偉達(dá)CEO指出,，盡管CPU過去幾年指令周期不斷提升，但進(jìn)入AI時代后,，以CPU為運(yùn)算基礎(chǔ)的時代已經(jīng)結(jié)束,，現(xiàn)在大型語言模型 (LLM) 需要更新的解決方案。
假設(shè)建置數(shù)據(jù)中心預(yù)算為 1000萬美元，可以選擇建置1座搭載 960顆CPU,、功耗達(dá) 11GW 的數(shù)據(jù)中心，抑或是選擇建置 1 座有 48 顆 GPU,、功耗僅需 3.2GW 的數(shù)據(jù)中心,，且 LLM 數(shù)據(jù)處理量是 CPU 的 44 倍。
若以處理同樣數(shù)據(jù)量的大型語言模型 (LLM) 來看,，可以選擇斥資 1000 萬美元,，建置 1 座搭載 960 顆 CPU、功耗達(dá) 11GW 的數(shù)據(jù)中心,，抑或是選擇只花費(fèi) 40 萬美元,，建置 1 臺需要 2 顆 GPU、功耗僅需 0.13GW 的數(shù)據(jù)中心,。
5月25日,，英偉達(dá)公布了明顯高于華爾街預(yù)期的季度營收預(yù)測，此后該公司股價在一天內(nèi)飆升24%,。季度報告表明,，營收的上漲主要受惠于云計算平臺和大型科技公司對GPU芯片的需求。
