瀚博首款AI推理芯片出爐，性能超越英偉達T4，年內即將量產

瀚博推出的 AI 推理芯片，性能超過英偉達最新的 A10 與 T4，同時使用成本還更低。

7 月 7 日，在上海舉行的首場發布會上，芯片創業公司瀚博半導體展示了旗下最新產品，SV100 系列云端通用 AI 推理芯片和 VA1 通用 AI 推理加速卡。剛剛推出的芯片實現了業內領先的性能指標。

瀚博半導體 CEO 錢軍在發布會上展示 SV102 芯片。

「我們要做的是服務器級別的芯片，SV100 系列是全方位超過英偉達同類產品的芯片解決方案?！瑰┌雽w創始人、CEO 錢軍在發布會上說道。

本次推出的產品包括芯片 SV102，以及基于該芯片的 AI 加速卡 VA1，即將在今年第四季度投入量產。

云端通用 AI 推理芯片

瀚博推出的 SV102 是 SV100 系列的首款芯片，它面向云端的 AI 的通用化推理任務，INT8 算力高達 200TOPS，其內含多顆瀚博自主設計的 IP 核，配備通用軟件棧，對于云計算客戶提供了完整的解決方案。

選擇推理作為突破點，是瀚博對于市場和業內競爭力分析之后作出的決定。

隨著 AI 應用的逐漸成熟，落地業務的增多，目前云服務市場上推理任務的需求逐漸超過訓練。相關數據顯示，2021 年 AI 推理市場已超過訓練市場，未來其差距還會逐漸拉大。高通則認為到 2025 年將有 90% 的算力將被用于機器學習推理。

而在推理任務上，相對更加專精的 DSA 芯片性能顯著超過目前業內普遍采用的 GPU，前者可能會成為芯片領域的下一個發展方向。

瀚博提出的 SV100 系列芯片，對于視頻任務進行了特別的優化。當前，計算機視覺任務占據了 AI 市場的大部分，視頻流占據數據流的 70%，而且比例持續攀升。這些任務需要強大的視頻解碼能力，對于處理延遲、吞吐量和能耗效率提出了較高要求。

SV102 是一款高性能人工智能與視頻處理芯片，深度學習推理性能指標數倍于現有主流數據中心 GPU（如英偉達 T4、A10）。基于瀚博自研的，針對多種深度學習推理負載而優化的通用架構，該芯片支持計算機視覺、視頻處理、自然語言處理和搜索推薦等推理應用場景，同時集成高密度視頻解碼，廣泛適用于云端與邊緣解決方案，節省設備投資、降低運營成本。

通用 AI 推理加速卡，效率超越英偉達

基于 SV102 芯片，瀚博推出了適用于云服務器的 VA1 機器學習加速卡，其提供高效率深度學習 AI 推理加速，在同等能耗下可以實現 2-10 倍于 GPU 的最高 AI 吞吐率，適合實時應用，同時兼備良好的通用性和可擴展性，支持 FP16, BF16 和 INT8 數據類型的眾多主流神經網絡快速部署——包括檢測，分類，識別，分割，視頻處理，LSTM/RNN，NLP/BERT，搜索推薦等。

瀚博半導體 CTO 張磊向我們介紹了 VA1 加速卡的性能指標。

VA1 具備強大的視頻處理性能：支持 64 路以上 H264，H265 或 AVS2 1080p 解碼，分辨率支持最高達 8K。另一方面，作為標準半高半長 75W 功率的 PCIe 4.0 板卡，VA1 適用于絕大多數服務器，被動散熱且無需額外供電，可實現高密度的部署。

和英偉達最新發布的安培架構 A10 板卡對比，在 ResNet-50（int8）任務上，瀚博芯片在 75W 功率時效率是對手的兩倍以上?！讣词褂ミ_的產品運行在 150W，我們的芯片運行在 75W 功率時性能也是超過它的，」張磊介紹道?！冈?BERT int8 任務上，VA1 的性能也是 A10 在 75W 上的兩倍，T4 的兩倍多?！?/p>

如果以整體運行成本 TCO 的方式來計算，采用 VA1 的服務器整機算力可以達到 T4 設備的 2.5 倍以上，功耗卻相對更低，可以節省超過 60% 的服務器成本。

除了硬件產品外，瀚博也搭建了自己的 VastStream 軟件平臺，支持 TensorFlow、PyTorch、Caffe2 等主流深度學習框架模型。

今年 6 月，SV100 系列芯片宣布測試成功。瀚博創造的幾個數字引人關注：在開始測試后 8 分鐘全部點亮，在 40 小時之內，芯片所有功能模塊基礎測試全部完成。對于全新設計的高端芯片來說，這是一個奇跡。

「我們與重要合作伙伴快手的合作非常緊密。打造芯片必須理解客戶的實際需求，我們打造了高性能的數據中心，會把最新的板卡插在服務器里，跑各類實際應用，驗證產品的性能?！瑰X軍表示。據介紹，目前已有多家國內外科技公司正在和瀚博合作，并等待芯片的大規模量產。

除了 SV102 以外，瀚博半導體還計劃推出功率為 15W 和 150W 的推理產品，覆蓋更多市場。

「我們不是一個國產替代的故事，我們希望打造國際級別的產品。為了這樣的目的，我們組建了有能力的團隊?！瑰X軍說道。

瀚博半導體于 2018 年底成立于上海，目前在北京、深圳、多倫多等地均設有研發中心。

這家公司的核心團隊源自于 AMD，部分成員曾設計了業界首款 7nm 制程 GPU。自公司創立起，瀚博一直致力于核心 IP 的自主研發，至今已完成多個 IP、高端設計流程，并擁有完善的數據中心構建能力。目前，瀚博的員工總數已超過 200 人。

在融資方面，2019 年 3 月，瀚博獲得了來自真格基金的天使輪融資，2019 年 7 月完成 Pre A 輪。2020 年 7 月，紅點、快手領投了該公司的 A 輪融資；最近一輪則在今年 3 月，由中國互聯****資基金和經緯中國聯合領投，融資金額高達 5 億元人民幣。

瀚博旗下首款芯片的推出，宣告了國內 AI 芯片業內又加入了一股強大的勢力。隨著各家的 DSA 芯片不斷出爐，國內造芯的競爭已經進入了全新的階段。