英偉達H200帶寬狂飆！HBM3e/HBM3時代即將來臨

當?shù)貢r間11月13日，英偉達（NVIDIA）宣布推出NVIDIA HGX? H200，旨為世界領先的AI計算平臺提供強大動力，將于2024年第二季度開始在全球系統(tǒng)制造商和云服務提供商處提供。

H200輸出速度約H100的兩倍

據(jù)介紹，NVIDIA H200是基于NVIDIA Hopper?架構，配備具有高級內(nèi)存的NVIDIA H200 Tensor Core GPU，可處理海量數(shù)據(jù)，用于生成式AI和高性能計算工作負載。

圖片來源：英偉達

與H100相比，NVIDIA H200對Llama2模型的推理速度幾乎翻倍。據(jù)悉，基于Meta的Llama 2大模型的測試表明，H200的輸出速度大約是H100的兩倍。

英偉達表示，H200還能與已支援H100的系統(tǒng)相容。也就是說，已經(jīng)使用先前模型進行訓練的AI公司將無需更改其服務器系統(tǒng)或軟件即可使用新版本。英偉達服務器制造伙伴包括永擎、華碩、戴爾、Eviden、技嘉、HPE、鴻佰、聯(lián)想、云達、美超微、緯創(chuàng)資通以及緯穎科技，均可以使用H200更新現(xiàn)有系統(tǒng)，而亞馬遜、Google、微軟、甲骨文等將成為首批采用H200的云端服務商。

不過，英偉達暫時并未透露該產(chǎn)品價格。據(jù)國外媒體《CNBC》報道，英偉達上一代H100價格估計為每個2.5萬美元至4萬美元。英偉達發(fā)言人Kristin Uchiyama透露稱，最終定價將由NVIDIA制造伙伴制定。

隨著ChatGPT等推動AI應用發(fā)展，NVIDIA芯片被視為高效處理大量資料和訓練大型語言模型的關鍵芯片，當下市場供不應求，產(chǎn)量問題成為業(yè)界關注的重點。

據(jù)《金融時報》8月報道指出，NVIDIA計劃在2024年將H100產(chǎn)量成長三倍，產(chǎn)量目標將從2023年約50萬個增加至2024年200萬個。

關于H200的推出是否會影響上一代H100的生產(chǎn)，Kristin Uchiyama指出，未來全年的整體供應量還將有所增加。

HBM3e/HBM3時代將至

值得一提的是，此次英偉達發(fā)布的H200是首次采用HBM3e存儲器規(guī)格，使GPU存儲器帶寬從H100的每秒3.35TB提高至4.8TB，提高1.4倍，存儲器總?cè)萘恳矎腍100的80GB提高至141GB，容量提高1.8倍。

此外，據(jù)媒體引述業(yè)內(nèi)人士稱，三星電子計劃從明年1月開始向英偉達供應高帶寬內(nèi)存HBM3，HBM3將被應用在英偉達的圖形處理單元（GPU）上。

“整合更快、更廣泛的HBM存儲器有助于對運算要求較高的任務提升性能，包括生成式AI模型和高性能運算應用程式，同時優(yōu)化GPU使用率和效率”英偉達高性能運算產(chǎn)品副總裁Ian Buck表示。

近年來，AI服務器需求熱潮帶動了AI加速芯片需求，其中高頻寬存儲器——HBM，成為加速芯片上的關鍵性DRAM產(chǎn)品。以規(guī)格而言，據(jù)TrendForce集邦咨詢研究指出，當前HBM市場主流為HBM2e，包含NVIDIA A100/A800、AMD MI200以及多數(shù)CSPs自研加速芯片皆以此規(guī)格設計。同時，為順應AI加速器芯片需求演進，各原廠計劃于2024年推出新產(chǎn)品HBM3e，預期HBM3與HBM3e將成為明年市場主流。

近期，三星、美光等存儲大廠正在不斷加快擴產(chǎn)步伐。據(jù)此前媒體報道，為了擴大HBM產(chǎn)能，三星已收購三星顯示（Samsung Display）韓國天安廠區(qū)內(nèi)部分建筑及設備，用于HBM生產(chǎn)。三星計劃在天安廠建立一條新封裝線，用于大規(guī)模生產(chǎn)HBM，該公司已花費105億韓元購買上述建筑和設備等，預計追加投資7000億-1萬億韓元。 

而美光科技位于臺灣地區(qū)的臺中四廠于11月初正式啟用。美光表示，臺中四廠將整合先進探測與封裝測試功能，量產(chǎn)HBM3E及其他產(chǎn)品，從而滿足人工智能、數(shù)據(jù)中心、邊緣計算及云端等各類應用日益增長的需求。該公司計劃于2024年初開始大量出貨HBM3E。

從HBM不同世代需求比重來看，據(jù)TrendForce集邦咨詢表示，2023年主流需求自HBM2e轉(zhuǎn)往HBM3，需求比重分別預估約是50%及39%。隨著使用HBM3的加速芯片陸續(xù)放量，2024年市場需求將大幅轉(zhuǎn)往HBM3，而2024年將直接超越HBM2e，比重預估達60%，且受惠于其更高的平均銷售單價（ASP），將帶動明年HBM營收顯著成長。

TrendForce集邦咨詢此前預估，由于HBM3平均銷售單價遠高于HBM2e與HBM2，故將助力原廠HBM領域營收，可望進一步帶動2024年整體HBM營收至89億美元，年增127%。