DOCA 1.3上線 讓DPU在數據時代找到“芯”價值

    隨著數據中心成為新的計算單元，數據處理器有了更多的用武之地。英偉達的BlueField系列DPU由DOCA（Data-Center-Infrastructure-On-A-Chip Architecture）軟件框架提供支持，可實現更好的網絡、存儲和安全性能。作為一款為BlueField DPU量身打造的軟件開發框架，DOCA旨在為開發者提供全面、開放的開發套件，支持其BlueField DPU上進行簡便、靈活的軟件開發，快速創建基于BlueField DPU加速的高性能應用程序和服務。

      “DOCA是依托于面向未來的、API驅動的思維模式來構建的，可以讓BlueField DPU硬件加速器變得更加易用，實現非凡的數據中心的性能、效率和安全性，解鎖數據中心創新功能，并且能夠更好地兼容下一代BlueField DPU，提供持續支持，加快應用程序和服務的上市時間，釋放DPU的潛力。”NVIDIA網絡技術專家崔巖說，“NVIDIA在發展BlueField DPU的同時，也在積極發展DOCA生態，這和我們以前發展GPU的同時在發展CUDA生態是異曲同工之妙。”

      今年5月，NVIDIA上線了DOCA 1.3版本，提供了121個新的API開發接口，加入了更多的增強和新功能，包括優化數據流插入的DOCA Flow庫、通信通道庫、正則表達式庫、App Shield SDK、基于OVN的IPSec加密的完全卸載，以及一些DOCA服務，例如HBN在主機上實現了三層路由功能。借助DOCA 1.3，開發者不僅可以在本地BlueField DPU上或X86的容器中搭建開發環境，還能獲得一致性的開發體驗，可以統一訪問BlueField DPU上的各種硬件資源，簡化網絡、存儲、安全和基礎設施管理服務相關的開發。同時，NVIDIA還為開發者提供了基于底層API抽象和封裝的高級API庫，大幅減少開發時間，可以更快的獲得收益，另外通過容器化的DOCA服務，可以在BlueField DPU上直接部署應用。

DOCA軟件棧

      DOCA 1.3中的正則表達式庫被稱為Regular Expression（RegEx），是多腳本語言使用的標準模式匹配工具，可以創建與文本模式匹配的過濾器，而不僅僅是單個單詞或短語的匹配。正則表達式專為高吞吐量、低延時、深度包檢測的應用程序設計，這些應用程序需要對數據包進行負載檢測和異常監測，通過正則表達式模式匹配和字符串來實現相應的應用功能。正則表達式還可以實現安全和遙測功能，可以在DOCA 1.3上提供安全方面的應用，例如應用識別、入侵防御系統、URL過濾、文件掃描、深度數據包檢測、App Shield內存掃描等，為安全軟件開發提供底層的API支持。

      借助基于OVN的數據路徑加密功能，不同主機之間可以利用IPsec的方式創建不同的隧道進行數據加密，保證數據在各個主機之間傳遞時是加密的狀態。當數據到達某個主機時，BlueField DPU會將其解密成明文，把這些明文數據再傳遞給主機側，為負載和應用程序提供數據。

      在NVIDIA BlueField DPU上，基于主機的網絡（HBN）有助于對同一節點上的虛擬機和容器之間的流量進行管理和監控。如果在一個服務器主機上創建了多個虛擬機或多個容器，在它們之間會有一些數據流量，不管是二層數據流量還是三層路由的功能，都可以通過基于主機網絡的DOCA服務在BlueField DPU上實現，并且可以做分析和加密進出節點的流量，還會把一些原來是依賴TOR交換機上的功能也在BlueField DPU中實現，改變了數據中心網絡構建的方式。

OVN數據路徑加密

      胡效赫是一名來自高校的開發者，他所在的團隊參加了首屆NVIDIA DPU中國黑客松競賽，并獲得了亞軍。“我們的團隊是由一位博士后和兩位博士生組成的，研究方向是云計算、分布式系統、高性能計算。DPU作為數據中心重要組成部分，我們從2020年BlueField DPU發布之后就一直在關注，今年參加黑客松就是想進一步學習和參與DPU的相關開發，對DOCA的API進行深度、定制化開發，實現更好的性能和更豐富的功能，并且與指導專家和其他團隊進行更多的交流。”胡效赫稱。

      據了解，該團隊的項目出發點是著眼于基礎設施的業務可觀測性，并為此提出“DeepTrace”項目——面向DPU驅動的基礎設施的網包級函數粒度業務可觀測性。以DOCA提供的NetFlow和粗粒度可觀測性為基礎，對應DOCA Netflow API庫，結合DPU的高性能網絡處理功能，對應DPU的ASAP2網包分類引擎，以及DOCA Flow API庫的數據平面和控制平面的可編程能力，將可觀測性的力度提升至網包級，并精確到每個函數功能，性能損耗幾乎可以忽略不計。

      在DeepTrace項目的系統架構中，業務流量先經過DeepTrace預選器，再經由原始的DPU程序進行處理，在DPU程序中會調用DeepTrace的觸發器實現相應點位的觀測，被觀測的數據會被匯總收集至分析器，通過數據的重組和分析得到相應結果，例如異常流量檢測、業務問題定位等。

      其中，觸發器部分的挑戰是如何以最小的代價收集鏈式函數和網包的信息，上述團隊采用的方案是以統一化、輕量化的函數內觸發器實現，將DOCA NetFlow庫修改為網包粒度，而需要觀測的函數以API的形式調用觸發器。在預選器部分的挑戰是如何處理大規模原始流量，并在函數鏈中記錄網包，該團隊采用的方案是通過硬件卸載的預選器進行標記和過濾。在開發過程中，調用DOCA Flow庫配置所需預選的規則實現。分析器部分，由運行在ARM控制平面的開源開放工程實現。

      胡效赫表示：“通過專家的指導，我們更充分地了解了DPU軟硬件特性，積累了DPU的開發經驗，也看到了其他團隊在DPU上的創新實踐。這次的經歷，為我們后續基于DPU進行研究和開發提供了很好的幫助。”相應的，DPU中國虛擬黑客松競賽也可以激發DOCA開發者的創新，在NVIDIA BlueField DPU和NVIDIA DOCA應用場景上帶來一些啟發，包括分布式存儲、數據流跟蹤分析、裸金屬云管理、RDMA數據包加解密等方面。下一步，NVIDIA計劃在今年下半年舉辦第二屆DPU中國虛擬黑客松活動。

      目前，全球有超過半數的DOCA社區注冊開發者來自中國。自去年建立以來，DOCA社區陸續為國內開發者開通了BBS官方論壇、DOCA文檔庫，以及DOCA的微信群，并且在微信公眾號后臺和知乎等知識平臺上積極回答相關問題。此外，考慮到開發者可能沒有DPU為自己的程序做驗證，NVIDIA會通過與合作伙伴聯合成立的DPU & DOCA卓越中心，提供相應的環境來測試和驗證代碼。參與第一期卓越中心試運行的合作伙伴為麗臺（上海）信息科技有限公司和上海信弘智能科技有限公司。   

      卓越中心所提供的DOCA開發環境有三個要點：第一是可遠程訪問的免費開發環境，或是在上面運行已經開發好的程序；第二是提供了完整的開發平臺，可以進行程序編譯、運行和相應的測試；第三是主要支持中國的DOCA開發者，加速應用的創新。同時，卓越中心的工程師和NVIDIA的專家也會提供相關的技術幫助。每個卓越中心的運營公司會提供兩套開發環境，這樣初期會有四套開發環境供免費使用，DOCA開發者需要自備登錄設備和相應的軟硬件環境，卓越中心會提供完整的軟硬件DOCA開發環境。

      DOCA開發環境的開放時間是周一至周四的9：00-15：00。申請人可以向卓越中心提交申請，審核批準之后會獲得2-6小時的免費開發環境使用權。需要注意的是，每次申請獲批后的時間是沒有辦法延長的，例如申請了4小時，那么4小時快用完時，再想延長2個小時是不行的，需要再次發起申請。截至今年年底，每一位開發者最長半年時間之內總使用時間不超過10個小時。在申請免費開發環境時，開發者需要提前48小時發出郵件，以便后臺工程師分配系統資源和環境。

      一直以來，NVIDIA都是開源領域的積極貢獻者，在網絡市場亦是如此，包括SONiC、OVS、DPDK、OpenMPI等等，在整個Linux社區是第三大貢獻者，在DPDK和SPDK社區的第二大貢獻者，并且成為了Linux OPI項目創始成員。DOCA開放API和庫之后，開發者可以借此來編寫應用程序的中間層，通過相關接口可以更便捷的發揮DPU特性，包括硬件卸載、正則表達式、RDMA等。

      NVIDIA網絡市場總監孟慶表示：“我們會在OPI和基金會里做出相應的貢獻，把整個DOCA開放出來。上層的東西，包括一些安全功能、存儲加速、網絡硬件卸載等特性，都會進行開放，無論是客戶、ISV，還是合作伙伴、OEM廠商，都能在開放的架構之上編寫應用程序，這里指的甚至不止是網絡程序，而是一個大的數據中心管理程序，里面會調用DOCA這樣的框架。”

      如今，NVIDIA BlueField DPU已作為核心部件應用到NVIDIA認證系統中，包括HGX、EGX和OVX，以及為這些認證系統平臺提供加速的以太網或InfiniBand解決方案，同時連接NVIDIA Spectrum端到端以太網平臺或Quantum InfiniBand網絡平臺，為現代數據中心工作負載提供所需的精確定時、高性能、高級的安全性和豐富的功能，構建AI工廠的核心骨干網絡，有力支撐上層系統軟件、高性能計算、人工智能和虛擬仿真平臺應用，在云計算、網絡安全、存儲、管理平臺和邊緣計算等領域構建全面的生態解決方案。

      相關數據顯示，2023年起全球DPU市場規模將突破百億美元，并進入年增長率超過50%的快車道。2023年，中國的DPU市場規模會超過300億元，增長潛力巨大。具體來說，DPU 的大規模應用主要面向三個方面：通過數據中心加速計算模型帶來的大規模應用，DPU能夠為CPU的業務應用負載和GPU的人工智能、機器學習工作負載提供數據傳輸及數據處理，性能成本比、基礎架構通用性與軟硬件可迭代成為關注要素；針對客戶的數據中心基礎設施應用場景定制設計，通過大規模部署DPU滿足特定應用場景的需求并解決問題；通過生態體系帶來的大規模應用，從客戶多樣化應用需求出發，基于開放、標準化平臺提供創新應用的通用集成解決方案，買來即可集成和部署。

      可以看到，DPU是圍繞著數據在數據中心和應用場景的一系列特征應運而生的，而DOCA就像是DPU的靈魂，二者相互結合才能發揮出最大的功效。從硬件方面來看，DPU既可以作為獨立的芯片或板卡，也可以作為額外的芯片集成在GPU或CPU中，給了客戶個性化的選購和部署自由度，可以根據實際應用場景來定制。同時，與之相配的DOCA則借助全面開放的開發套件，最大限制降低了基于BlueField DPU的開發門檻和成本，加速業務創新，推動商業價值最大化。