HBM：高帶寬內存吸引各大科技巨頭搶購的“魔力”到底是什么？

全球第二大存儲芯片巨頭SK海力士昨天公布了最新財報，截至6月當季銷售額約合57億美元，較上年同期下降47%，超過了6.05萬億韓元的平均預期，相比一季度創紀錄的虧損有所收窄。

由于各大企業對布局AI領域的興趣激增，同時，SK海力士在用于生成式AI領域的高帶寬存儲器（HBM）DRAM方面處于市場領先地位，其二季度用于AI領域的高性能DRAM銷售增長強勁，對高端DRAM的需求增長了一倍多。

繼英偉達之后，全球多個科技巨頭都在競購SK海力士的第五代高帶寬內存HBM3，包括AMD、微軟和亞馬遜等等。SK海力士首席財務官Kim Woohyun透露，將繼續擴大其高端存儲芯片的產量，以滿足人工智能驅動的需求。

新一代DRAM解決方案

當代電子計算體系的表現完全依賴于處理器和內存的相互配合，而來到了AI時代，大模型處理數據的吞吐量更是呈指數級增長，最新的GPT-4模型據說有1.76萬億參數量，要想支撐如此龐大的數據處理和傳輸，對內存就提出了更高的帶寬需求。

然而，存儲器和處理器并沒有同步發展，處理器的性能按照摩爾定律規劃的路線不斷飆升，對比內存所使用的DRAM從工藝演進中的獲益卻很少，性能提升速度遠慢于處理器速度。據行業預計，處理器的峰值算力每兩年增長3.1倍，DRAM的帶寬每兩年增長1.4倍，相差1.7倍。

當存儲器的性能跟不上處理器，對指令和數據搬運（寫入和讀出）的時間將是處理器運算所消耗時間的幾十倍乃至幾百倍。數據交換通路窄以及其引發的高能耗，導致DRAM的性能成為制約計算機性能的一個重要瓶頸，即所謂的“內存墻”。

HBM突破了內存容量與帶寬瓶頸，打破了“內存墻”對算力提升的桎梏，被視為新一代DRAM解決方案，是未來DRAM重要發展路徑。這種新型的內存方案具備高帶寬、低功耗的特點，已逐漸在競爭中脫穎而出，面對AI大模型這種動不動千億、萬億的參數，服務器中負責計算的GPU幾乎必須搭載HBM。

什么是HBM

HBM（High Bandwidth Memory，高帶寬存儲器），與其他DRAM最大的差別就是擁有超高的帶寬，目前最新的HBM3的帶寬最高可以達到819GB/s。HBM為何能擁有如此大的帶寬？

那么就要從HBM的原始形態GDDR說起，GDDR采用傳統的方法將標準PCB和測試的DRAMs與SoC連接在一起，是將DRAM芯片直接放置在PCB上并圍著處理器轉一圈的獨立封裝。因此會受到來自PCB面積的約束，互聯線長/帶寬以及通訊延遲也會隨之增大。

相對于傳統內存，HBM則是在硅中階層（Silicon Interposer）上堆疊起來并和GPU封裝在一起，這樣一來，面積一下子縮小了很多，并且HBM離GPU更近了，數據傳輸也就更快了。

HBM之所以可以做到這樣的布局，是因為采用了3D堆疊技術，將DRAM裸片垂直疊放在一起，這相當于在一樣的“占地面積”下能布置比過去多數倍的DRAM顆粒。這種堆疊方式不僅節約空間，而且能夠帶來更短的顆粒間距進而縮短信號傳輸路徑及延遲，但HBM真正的難點在于這些顆粒的互聯問題，直到有了TSV技術之后才得以解決。

硅通孔技術（Through Silicon Via, 簡稱“TSV”）將“每層樓”連接在一起，是連接硅晶圓兩面并與硅襯底和其他通孔絕緣的電互連結構：在保證強度以及完整性的前提下在芯片（硅）上垂直穿孔，然后以這些孔為通路進行布線并完成垂直互聯。貫通所有芯片層的柱狀通道傳輸信號、指令、電流，以增加吞吐量并克服單一封裝內帶寬的限制。

憑借TSV技術，HBM大幅提高了容量和數據傳輸速率，與傳統內存技術相比，HBM具有更高帶寬、更多I/O數量、更低功耗、更小尺寸，可應用于高性能計算（HPC）、超級計算機、大型數據中心、AI、云計算等領域。隨著5G商用到來，存儲數據量激增，市場對于HBM的需求將有望大幅提升。

存儲巨頭爭霸HBM

在DRAM的整體頹勢之中，HBM卻在逆市增長，自從去年ChatGPT出現以來，HBM作為AI服務器的“標配”，更是開始狠刷存在感。超高的帶寬讓HBM成為了高性能GPU的核心組件，目前，高端GPU市場被英偉達和AMD瓜分，最新的H100和MI300X都配備了目前最新的HBM3。

預測到2031年，全球高帶寬存儲器市場預計將從2022年的2.93億美元增長到34.34億美元，在2023-2031年的預測期內復合年增長率為31.3%。當前HBM市場呈現三足鼎立格局，TrendForce研究顯示，2022年三大原廠HBM市占率分別為SK海力士占50%、三星約40%、美光約占10%。

SK海力士

SK海力士早在2021年10月就發布了全球首款HBM3，并于2022年6月正式量產，是目前唯一能量產HBM3產品的供應商。

SK海力士HBM技術起步早，從2013年與AMD聯合開發了全球首款HBM后，第一個站上HBM的跑道后就一直是HBM行業的領頭羊，得益于自主研發的MR-MUF（Mass Reflow Molded Underfill）技術，目前占據全球HBM市場一半以上的市場份額。

2023年4月，SK海力士宣布已在全球首次實現垂直堆疊12層硅通孔技術垂直堆疊的芯片，實現最高容量24GB，容量較上一代HBM3 DRAM提升50%，還搭載了ECC校檢（On Die-ErrorCorrection Code），可以自動更正DRAM單元（cell）傳輸數據的錯誤，從而提升了產品的可靠性。

此外，SK海力士預計在今年年底前供應HBM3E樣品，并在2024年開始量產，將下一代產品HBM4的生產目標時間定在了2026年。

三星

三星跳過HBM1，于2016年首次量產HBM2產品，同一年發布了4GB和8GB的HBM2 DRAM；2020年2月，三星正式宣布推出其16GB HBM2E產品“Flashbolt”。

2021年三星宣布了一項新的突破，面向AI人工智能市場首次推出了HBM-PIM技術，在存儲芯片上集成了計算功能而不是CPU、內存數據分離，實現了原HBM2兩倍的性能，同時功耗還降低了70%。預計2024年實現接口速度高達7.2Gbps的HBM3P，2025年在新一代面向AI的GPU中見到HBM3P的應用。

美光

美光最開始是和英特爾一起開發HMC（混合內存）技術，雖然也使用了TSV，但是和HBM完全不同，也不兼容。直到2018年美光才正式放棄HMC，開始追趕HBM，于2020年7月宣布大規模量產HBM2E，HBM3也仍作為其產品線在持續研發之中，預計將于2024年初開始量產。

HBM的下游也在持續發力，英偉達歷代主流訓練芯片基本都配置HBM；英特爾Sapphire Rapids發布全球首款配備HBM的X86 CPU；AMD也在持續更新HBM產品線。

同時值得一提的是，由于HBM主要和GPU搭載使用，封裝主要以TSV 3D封裝進行，所以通常在晶圓廠內完成，當前臺積電、格芯等也在發力HBM技術的研究與制造。

臺積電宣布與博通合作強化CoWoS平臺，該平臺技術常用于HBM的整合封裝，新一代CoWoS技術能夠容納多個邏輯系統單芯片以及多個HBM。業內消息稱臺積電將量產其第六代CoWoS技術，可在單個封裝內集成12顆HBM。

格芯與SiFive也宣布共同開發基于12LP/12LP+ FinFET工藝的HBM2E。據介紹，SiFive基于格芯12LP平臺和12LP+解決方案的可定制HBM接口將實現高帶寬存儲輕松集成到單個片上系統（SoC）解決方案中。

存儲巨頭相繼入局、上下游廠商發力，HBM受到越來越多的關注與青睞，有人甚至認為HBM未來將取代DDR。

VR和AR是HBM未來將主要發力的領域。因為VR和AR系統需要高分辨率的顯示器，這些顯示器需要更多的帶寬來在GPU和內存之間傳輸數據。而且，VR和AR也需要實時處理大量數據，這都需要HBM的超強帶寬來助力。蘋果最新推出的頭顯設備Vision Pro也傳出內置了SK海力士專門設計的高帶寬DRAM來提升圖像數據的處理效率。

此外，智能手機、平板電腦、游戲機和可穿戴設備的需求在不斷增長，這些設備需要更先進的內存解決方案來支持其不斷增長的計算需求，HBM也有望在這些領域得到增長。并且，5G和物聯網（IoT）等新技術的出現也進一步推動了對HBM的需求。

在自動駕駛方面，智能汽車和車路協同場景都涉及大量的數據傳輸，HBM的帶寬優勢能夠發揮作用，但是由于成本問題，HBM3距離“上車”還有些時日。

目前而言，DDR仍為DRAM市場主流產品，與龐大的DRAM市場比起來，HBM市場占比較低，大約只占整個DRAM市場的1.5%。現在HBM還是主要應用于服務器、數據中心等領域，消費領域對成本比較敏感，因此HBM的使用較少。亦仍有待進一步提升技術、降低成本，HBM未來或將大有所為。

新技術革新的難點

目前困擾HBM的問題之一是成本，3D堆疊成本高昂。因為有一個邏輯芯片位于芯片堆疊的底部，這是必須支付的額外硅片，然后是硅中介層，最后還需要一個更大的封裝等等，這是需要付出昂貴代價的。

同時，由于HBM采用復雜的TSV封裝工藝，其生產良率較低，產品開發周期較長，生產成本也較高。并且如果組成垂直結構的一部分完全失效，則必須丟棄整個結構，這會使通過TSV互連的系統制造起來更加昂貴。目前存在的HBM脫離了消費者領域，相比之下GDDR6等圖形內存雖然無法提供與HBM一樣多的性能，但成本卻顯著降低。

另外，芯片在某些溫度條件下達到其時鐘速度，如果附近有另一個也會發熱的芯片會受到影響。大量DRAM堆疊和GPU封裝在一起產生大量的熱，如何散熱也是HBM極大的挑戰。

雖然HBM的高帶寬小體積是優點，但是其堆疊工藝導致它缺乏靈活性，導致難以擴容且訪問延遲高。HBM由于互聯寬度超寬，這就決定了HBM的傳輸頻率不能太高，否則總功耗和發熱撐不住，所以延遲高（延遲指從讀取指令發出，到數據準備就緒的過程，中間的一個等待時間）。

目前來說，CPU+DRAM技術較為成熟，成本相對較低，在多數對性能沒有極端需求的場合具有更好的性價比，而GPU+HBM的組合則更多用于對算力要求特別高的應用領域。從2D走向3D，集成度更高、能耗效率更高的HBM是未來趨勢，隨著TSV工藝和HBM設計的不斷成熟，HBM自身的性價比也會有所提升，將會逐漸占據更多的市場。