“X”PU的時代，DPU位置何在？

艾新博盛投資合伙人 曹幻實 （左） 矩向科技CEO 黃朝波（右）

• 三類視角看DPU的興起

• “X”PU的時代，DPU位置何在？

• 超異構處理系統，解決海量存儲大需求

• 拒絕碎片化，通用才是硬道理

• 市場前景廣闊，DPU將大有作為

點擊收聽大咖談芯現場實錄↓↓↓

三類視角看DPU的興起

幻實（主播）：大家好，我是芯片揭秘的主播幻實。節目錄了很多期卻還沒請過DPU方向的從業者和我們分享這一行的發展現狀，今天很高興矩向科技的CEO黃朝波先生作為DPU賽道的科普人做客我們節目，先請他來跟我們大家打個招呼。

黃朝波（嘉賓）：大家好，我是矩向科技的黃朝波，很高興來到芯片揭秘跟大家分享。

幻實（主播）：黃總非常謙遜，了解到您曾經寫過一本書，叫《軟硬件融合——超大規模云計算架構創新之路》，您本人也被業界認為是相關技術的布道者。2020年10月，英偉達GTC大會上官宣了一款新處理器——DPU，我知道黃總對這一塊很有心得，所以先請您聊一聊是怎樣和DPU結緣的？

《軟硬件融合——超大規模云計算架構創新之路》書影

黃朝波（嘉賓）：DPU的發展是亞馬遜最先開始的。2017年底，亞馬遜AWS在re:Invent大會上宣布了它的NITRO系統，這個系統其實就是現在大家說的DPU。也是從這時候開始，NITRO就成為了整個亞馬遜云服務的技術底座。我也是因為這個大的背景原因，在2018年初加盟了UCloud,來做類似的一些工作。

關于DPU 的興起，我們可以從三個視角來看。

第一個視角就是云計算公司的視角，像亞馬遜、阿里云等，它們從虛擬化出發。那么虛擬化是什么呢？虛擬化分為三部分：處理器的虛擬化、內存的虛擬化和I/O的虛擬化。處理器和內存的完全硬件虛擬化都是由CPU芯片完成的，但I/O的虛擬化一直都是軟件模擬的。現在因為主機CPU的性能瓶頸之后， I/O虛擬化的代價非常之高，所以他們要想辦法把這些工作“下沉”到硬件中，最終的做法就是把整個基礎設施層整體放在獨立的硬件中完成。

還有另外一個視角，就是現在英偉達或一些智能網卡公司的看法。它們認為，DPU是整個數據I/O的加速，因為數據要在不同服務器之間進行大量的傳輸和處理，他們的視角就是用硬件來專門優化數據的搬運和處理。

最后還有一個點，其實是更本質的，那就是計算。因為所有工作最終都要歸結到計算。CPU已經到了性能瓶頸，不得不通過硬件加速的方式來不斷提升性能。

以上三個視角其實各有不同，但是有一點是一致的——那就是如果我們只站在一個視角去考慮問題，做出來的東西很有可能有失偏頗。只有把不同的視角都考慮清楚，這樣做出來的東西才是均衡的、全面的。

“X”PU的時代 ，DPU位置何在？

幻實（主播）：現在這種概念非常多，最傳統的有CPU,GPU,DPU，后續還有NPU，每家都說自己不一樣，很厲害。很多人戲稱現在是“X”PU的時代，因為都不知道前面還會出現什么字母。趁此機會，您也跟我們講一講那么多“PU”是指什么，DPU又處在什么角色和位置？

黃朝波（嘉賓）：用一條主線可以幫大家把這些概念都梳理清楚，這條主線其實就是它內部所在的這些處理引擎。比方說之前Graphcore提出的IPU，再有像NPU、NP，很多PU其實內部只有一種類型的處理引擎，這些引擎拼成了一顆芯片。但這顆芯片是無法獨立工作的，需要通過CPU+XPU異構計算的方式工作。DPU和它們最大的不同在于它本身是一個SoC，內部包含了很多不同類型的處理引擎，既可以獨立工作，也能作為CPU的加速助手一起協同工作。

（圖源：軟硬件融合公眾號）

幻實（主播）：聽起來DPU特別復雜，又能協同又能獨立，那獨立的話是不是意味著它很難做？

黃朝波（嘉賓）：的確是這樣的。例如我們講AI處理器，它就只關注AI這個領域；講網絡處理就關注網絡的領域。但是DPU不一樣，它要關注的領域非常多，首先就是虛擬化，其次還有網絡、存儲、安全等，另外還要關注怎么去把云服務“下沉”到里面，這就涉及方方面面軟件、硬件的綜合能力了。各方面的知識都非常多，要把各種資源整合在一起，這的確是DPU面臨的巨大挑戰。

幻實（主播）：剛剛您提到了CPU、GPU，在它們三者之間來定性的話，是優勢互補還是未來有可能存在誰替代誰呢？

黃朝波（嘉賓）：CPU、GPU和DPU就是現在大家稱之為數據中心的三大處理器，其實它們三者是一個協同的關系，未來會朝著融合的方向發展。具體來說，我們可以把系統大體上分為三大部分：系統的底層稱之為基礎設施層，在此之上的應用層又可以分成兩部分，一部分可以加速，另一部分難以加速。這樣一來，基礎設施層的工作就適合放到DPU里去完成，再把應用層里可加速的那部分放到GPU里，CPU負責兜底，不可加速的部分就只能放在CPU里。

為什么這樣做呢？原因在于應用層里很多東西是不確定的，算法也會經常改變，還會面臨不用的應用場景要用同一個硬件平臺這種情況，而GPU剛好是相對彈性靈活的，這就使它非常適合用在上述場景中。

系統任務分類 （圖源：軟硬件融合公眾號）

接下來講三者的協同關系。由于現在chiplet（注：芯粒，是不同功能裸片的拼搭，某種意義上也是不同IP的拼搭）技術越來越流行；而且，并非所有的場景都要用到很重量的獨立三芯片的大系統。很多場景其實是一種相對輕量的場景，那么我們就可以把三者合到一起，整合成一顆芯片，這是未來發展的趨勢。

不過整合的過程并不是簡單地把三顆芯片拼起來，否則它們還是各管各的三張皮。所謂的整合是要打破界限重新做架構，最終形成一個整體，我們稱之為“超異構處理器”，這也是我們團隊目前正在努力的方向。

超異構處理系統，解決海量存儲大需求

幻實（主播）：超異構處理器能夠打破三者之間的邊界。

黃朝波（嘉賓）：對，把它合三為一。

幻實（主播）：誰會去做“打破”的角色？因為它要用第三方視角來看，任何一方我估計都很難主動打破自己的模式或護城河去兼容別人。

黃朝波（嘉賓）：其實它是需要一些落地策略的。比方說，一方面，我們可以把它先當做一個DPU的角色，用它承擔CPU助手的工作。另一方面，內部很多通用性的功能，讓它可以在其他的場景上落地，像存儲服務器，以及更廣闊的邊緣服務器市場，它都是大有可為的。

幻實（主播）：按照這種趨勢看會大有可為，但感覺開發成本會十分昂貴。這兩年我們發現很多做IP的公司生意都特別好，因為不少企業會花上億的資金來買IP，投資人也得被動去接受這件事。我想問在您看來DPU除了前期買IP的費用特別高之外，未來的發展還會遇到什么阻礙？它會走怎樣的技術發展或產品開發的路徑？

黃朝波（嘉賓）：DPU在前期大概會花費成本總額的50%左右用于購買IP，另外50%用于自研和整合。成本這塊實際上不可避免，因為一開始相對而言比較弱小，許多技術在沒有積累的時候也只能如此。不過當第一代產品開發起來以后，第二代、第三代自己貢獻的價值就會越來越多，未來自研部分的成本和價值可能會到80%甚至90%。

其實難點在于DPU涉及的領域眾多，并且每個領域都可能有很多路線之爭，到底應該選擇哪種路線或者制式？這就好比有10道選擇題，只要有任何一道題做錯了，都將前功盡棄，直接零分。為什么會這樣？因為你給用戶提供產品，而用戶是一個綜合性的場景，一旦某一種功能無法滿足要求，那整體就落不了地。最大的挑戰和風險就在這里，不僅要選正確的路線，還要更加前瞻。如果是定制設計，就意味著你最終覆蓋的場景和用戶數量一定會非常少，這時就要思考如何避免這種情況出現。

幻實（主播）：這些也是投資人關心的事，會很擔心你進入到一個非常狹窄的方向。

黃朝波（嘉賓）：是的，這種狹窄會使得產品和市場碎片化，最后大家都變成了完全碎片化的狀態。那么最合適的解決辦法是什么樣的？這需要把“通用”這個能力做出來。在許多方面我們自己其實不用選擇路徑，而是讓用戶來選，就相當于把選擇題交給了用戶來做，我們只把選擇題的硬件提供出來。這樣的話，做出來的東西肯定百分之百最滿足用戶自己的需求。

拒絕碎片化，通用才是硬道理

幻實（主播）：聽上去感覺非常定制化，那是不是要有很多種型號？

黃朝波（嘉賓）：如果是剛才那種自己去選擇不同的技術路徑的時候，它會變成碎片化的東西。但如果我們做通用器件的話，一個器件就能夠把這些場景的不同需求都滿足。所以通用性是DPU設計中最核心的能力，也是最關鍵的。如果通用性做不好那么DPU就很難真正的落地。

幻實（主播）：既然您覺得重點在通用性上，我想問問國外大廠比如說英偉達，他們在這個方面怎么樣？

黃朝波（嘉賓）：相對來說英偉達采用的是一種確定的定制方案，這也是為什么它在落地上存在困境的原因。大家面臨的場景和困境是相同的，我們稱其為“不同用戶的場景差異化”。不僅如此，同一個用戶的場景也在持續迭代。

目前來看，每當遇到問題后，行業里會有不同路徑的做法。例如，有的公司會針對這種場景做出來一個自認為最優的方案，大家來跟隨。但是可能會存在用戶的業務邏輯實現和我們的不一樣，并且用戶的平臺遷移風險和成本都非常高，因此芯片落地就存在困境。

還有一種做法是客戶自研，自己需求什么就自研什么。它也存在一些問題，就是硬件的迭代周期其實趕不上軟件的迭代周期。此外，大公司內部也有不同的團隊，團隊之間的需求也是千差萬別的。

再有一個路徑就是通用路徑，并不試圖幫助用戶來決策，而是把權力交給用戶，讓他們自己來決定想要什么，我們提供的只是一個通用的平臺而已。

幻實（主播）：我發現目前國內做自動駕駛、汽車方向的公司其實也一樣，因為每家主機廠的訴求是不同的。我們之前和地平線交流過，我發現他們很有意思，用戶想要芯片可以，想要定制各種IP也可以，總之就是想要什么我都配合你來做。這一點和DPU很類似，不替用戶做選擇，只把自己的“武器庫”準備的充分一點。需要團隊的實力很強才能做到這種程度，通用性不是一般的高度。

黃朝波（嘉賓）：是的，要求確實不低。我們面對的用戶有千差萬別的需求，做一千種、一萬種這類芯片是不現實的。你要在成千上萬的需求里找出共性，把共性變成硬件，再把差異性通過用戶編程軟件的方式去實現。這考驗的是整個團隊對需求、產品以及整個系統架構的全面把握，對能力的要求確實非常高。

DPU競爭格局 （圖源：智能計算芯世界）

幻實（主播）：在您看來目前國內的DPU有沒有按照這個方向來做布局的？

黃朝波（嘉賓）：還沒有。現階段大家更多的還是考慮先把用戶的需求拿到，再把東西實現好。從國際上看，有兩家公司可能相對來說做得比較好，第一個當然是亞馬遜。

亞馬遜的第一代NITRO系統嚴格來說就是一顆CPU，非常通用但性能很差，它是通過5顆芯片共同來完成整個基礎設施的工作。后面更新的第二代、第三代才逐漸把硬件加速部分放進去。并且，放的時候也非常的審慎，并沒有把很多功能都固化，而是通過很多軟件的方式，再去實現確定的功能。如此一來，它其實也是相對通用的器件了。盡管是自研自用，它也做得非常通用化。

幻實（主播）：它是不對外提供的嗎？

黃朝波（嘉賓）：是的，并不對外提供。

幻實（主播）：亞馬遜的云之所以能被這么多科技公司所采用，其實還是有一些獨到之處。

黃朝波（嘉賓）：可以說它從上到下的整個技術鏈條都非常穩固。此外，英特爾在通用性這一塊做得也不錯。因為英特爾自身的數據中心業務經過了多年的深耕和技術沉淀，可以說它是最懂數據中心場景的芯片公司。目前他們所倡導的IPU內部的網絡處理器支持P4編程，相對而言更加通用。它內部的CPU是Arm的Neoverse N1系列，性能非常強烈，通用性也非常好。另外它們還發起了開源IPDK (Infrastructure Programmer Development kit,基礎設施編程開發套件) 框架，發起了OPI（Open Programmable Infrastructure Project，開放可編程基礎設施項目）聯盟，所有這些都是為更加通用和開源開放的生態來服務的。

幻實（主播）：這些也用在它的云服務上還是說它會單獨把硬件板塊對外開售？

黃朝波（嘉賓）：它的IPU是對外出售的，對標的就是英偉達的DPU。但是在產品理念和具體實踐上，我們還是比較認可英特爾的做法。

幻實（主播）：是的，老牌做CPU的公司會更早知道產品的痛點在哪兒。國內目前還沒有這種思路開展，哪怕我們有阿里云、騰訊云、華為云等等，可能還是按照傳統的路徑在做。

黃朝波（嘉賓）：對，目前來說，阿里云在這一塊其實做了很多的技術積累，但是它現在有很多技術分散在不同的部門，可能還需要一個整合的過程。接下來大家拭目以待，看它們后續資源整合的情況。

市場前景廣闊，DPU將大有作為

幻實（主播）：剛剛我們聊到了DPU這個行業的現狀，請您來做個預判，未來它會按照什么節奏發展？又會形成什么樣的態勢？

黃朝波（嘉賓）：這要分幾個方面來說。

第一點要改變認知。現在大家對DPU的定位還停留在它是CPU的助手上，其實這會限制DPU自身的價值。更合適的做法是將DPU看做一個獨立處理器，脫離CPU的約束，它才可以面對更廣闊的的市場，這樣才更有希望最終真正成功。

第二點是提升通用性。DPU一定要能實現更多的通用性，因為不通用的話它就完全碎片化了，可通用性又對設計的能力要求很高，對全系統的駕馭要求也非常高。只有把DPU做得更加通用才能實現性能的極致飛躍，用戶完全可編程和定義一切的這種超異構處理器，才是DPU的未來。

第三點是市場前景。首先還是定位在數據中心服務器上，不但可以用在業務服務器中，也可以用在存儲服務器里，還可以用在規模更大的邊緣服務器上。如此一來，在國內DPU的市場經過我的測算就能達到1000億元人民幣的規模。

2020-2025年全球與中國DPU市場規模預測 （圖源：頭豹研究院）

幻實（主播）：您覺得這幾種服務器市場都能用到它？

黃朝波（嘉賓）：對的。只有做到這一步才算成功，因為大芯片的研發成本非常高，如果僅僅覆蓋碎片化的市場就會很難大規模落地。

幻實（主播）：對于那種數據加倍的類似于冷存儲的存儲中心，對DPU有需求嗎？

黃朝波（嘉賓）：其實我剛才提到存儲服務器大體上又可以分為三類：熱存、溫存和冷存。簡單來說這里面最大的區別就是一顆處理器上能掛多少的存儲量。比方熱存可能掛的是12塊到24塊NVMe盤，這已經是極限了；在溫存里可能掛的是HDD，這樣的話其實相當于掛了五六十塊甚至一百塊盤；但是在冷存里，現在通過分組sleep/wake up的方式，大部分盤是處于睡眠的狀態，所以可以用一顆處理器掛上千塊歸檔型HDD盤。最終平均下來每一塊盤、每一個存儲容量的功耗和成本就會降得非常低，最終它還是用DPU這種SOC芯片來完成相關的處理。

幻實（主播）：所以不要以為數據“睡眠”了就不需要硬件過多干涉了。

黃朝波（嘉賓）：對，DPU其實一直在工作。再引申來看，既然它是一個算力和數量級都有所提升的超異構處理器，本質上只要在大算力場景中都能用得到，那么除了云和邊緣的服務器，DPU還能用在其他市場中，比方5G核心網、自動駕駛等。例如英偉達在2024年將發布的自動駕駛芯片就是由高性能的CPU、GPU和DPU共同組成的，DPU屬于三大核心計算部分之一。站著這個視角來講，超異構處理器面向的是復雜的計算場景，這種場景在國內就有5000億以上的市場規模。如果放眼全球，其實已經有數萬億的市場了。

幻實（主播）：不得不說在數據爆發增長的情況下就需要靈活調用想辦法。一些公司在日常辦公可能會遇到云盤存儲不夠用的情況，這就是數據幾何式增長的典型表現。

黃朝波（嘉賓）：其實有過一些測算，數據在增長之后大概會有一半最終存在云端，另一半則沉淀在了終端或者邊緣端。數據的量大了之后，無論是傳輸、處理、分析、存儲、安全等，對硬件性能的要求都非常高。這些從本質看都是計算，那計算靠什么呢？靠的就是CPU、GPU、DPU，最終它們會被整合成為超異構處理器。

幻實（主播）：是的，國家也提出了“東數西算”戰略，今天我們討論的話題很符合國家的科技大趨勢和大方向。我知道您正在創業做這個方向，能否展開談一談您是以什么角度切入這個行業的？

黃朝波（嘉賓）：我以前在Marvell做CPU，后來機緣巧合下去了UCloud做軟硬件結合方面的工作，不僅僅是做芯片，我們的視角是如何在需求的驅動下把應用做到最好。做久了之后，我最大的一個體會就是軟硬件其實是割裂的，軟件不懂硬件，硬件不懂軟件。現有的技術體系，平臺構建好之后，大家都在上面開發軟件，但很難把這些軟硬件打開，然后重新再整合。所以這也是我后來寫了一本書叫《軟硬件融合——超大規模云計算架構創新之路》的原因。在工作中我們思考更多的是要從需求出發，深層次的需求到底是什么？

最開始我們是做虛擬化，發現已經形成的軟件應用性能還不夠好，但業務邏輯不敢輕易動，因為它里面承載的云服務是千億、萬億級別的規模，所以只能靠硬件來加速和提升性能，后續業務的更新迭代也要在自己的掌控之下。這樣就需要，我們做硬件時并不給用戶提供具體功能，而是提供一個工具和平臺讓他們自己來實現這些功能。這就是所謂深層次“需求”。

幻實（主播）：您現在就在做這樣的平臺。

黃朝波（嘉賓）：是的，以前我是甲方，現在我是乙方。做更好的產品，讓之前的自己用的更爽。

幻實（主播）：對，現在的自己去服務當年的自己。技術創新都源自最真實的需求，這很有價值。我們也在這里做個宣傳，如果有想要體驗DPU的可以來找黃總試試看。

黃朝波（嘉賓）：目前我們基于FPGA做了一些原型的產品，如果做芯片的話投入會更大。現在矩向科技處于融資狀態，已經有的原型可供大家來體驗一下。

幻實（主播）：我覺得這是一條新的賽道、新的路線。體驗過后可能會發現跟以前的感受完全不一樣了。非常開心今天向黃總請教了很多知識，也希望在數據中心領域，國內的公司不要和國外差距太大，很感謝有你們這樣的團隊在做這些事。

黃朝波（嘉賓）:也謝謝曹總可以提供這樣的機會，讓我們能夠分享自己的一些看法。

幻實與黃朝波先生合影

作為數據中心里繼CPU和GPU之后的“第三顆主力芯片”，DPU的出現稱得上是異構計算中的階段性標志，近年來已逐步掀起了一波行業熱潮。根據Canalys Cloud Channels Analysis預測，到2023年，中國DPU市場規模將達190億人民幣。當然，還有其它分析機構的預測更加樂觀，認為中國DPU市場規模預計將在2025年超過37億美元，約合240億人民幣。

不過，DPU的使用門檻非常高，只有開發、整合能力較強的用戶才能充分利用它。在推向市場的過程中，由于DPU涉及的領域很分散，往往造成碎片化應用的局面，這無疑是一種算力浪費。為了解決這一難題，就需要設計出通用的平臺來承載用戶豐富、多樣和自定義下的使用場景，從而滿足個性化需求。