芯原股份：滿足邊緣智能算力所需 有效控制成本功耗

作為人工智能的一個子集，邊緣智能專注于在數據產生的位置（即網絡的“邊緣”）進行數據處理和分析，邊緣智能的優勢在于它能夠提供低延遲、高可靠性的數據處理，同時由于減少了數據在網絡中的傳輸，可有效保護數據隱私。此外，邊緣智能可以在沒有網絡連接或網絡不穩定的情況下工作，這對于某些應用場景至關重要。芯原微電子（上海）股份有限公司（簡稱“芯原股份”或“芯原”）執行副總裁、業務運營部總經理汪洋認為，相比于大模型等人工智能應用，邊緣智能的應用場景主要集中在對實時性、安全性和隱私性要求較高的領域，除了如手機、電腦等個人消費電子，還包括智能家居、工業自動化、車聯網、智慧城市、醫療健康、農業等，可以為各行各業帶來更高效、更智能的解決方案。

芯原執行副總裁、業務運營部總經理汪洋 

汪洋強調道，芯原作為一家領先的芯片設計服務，在開發邊緣智能應用相關的IP時，充分參考邊緣智能應用場景的實際需求，致力于在算力、功耗和成本之間取得平衡，基于這樣的設計出發點著重采取了如下三種策略。

優化架構設計：通過創新的微架構設計，提高處理器的指令執行效率和吞吐量，在滿足性能要求的同時減少不必要的功耗。

持續針對應用場景優化一系列的專用AI加速處理器：公司推出的專用AI加速器包括神經網絡處理器（NPU）IP、高性能圖形處理器（GPU）IP、GPGPU IP和創新的AI GPU IP子系統等，以針對AI工作負載提供高效的硬件支持，減少CPU/GPU的負擔，從而降低總體功耗。

采用Chiplet架構：隨著各行各業進入人工智能升級的關鍵時期，市場對于大算力的需求急劇增長。在此背景下，集成電路行業正經歷從SoC（系統級芯片）向SiP（系統級封裝）的轉型，這一轉變是出于對高性能單芯片集成度與復雜性的提升、性能與功耗的優化、良率與設計/制造成本改善等多方面的考量。

芯原既有豐富、優質的大量自有處理器IP，又有在14nm/10nm/7nm/5nm FinFET和28nm/22nm FD-SOI等先進工藝制程的豐富設計流片經驗，因此在布局Chiplet方面，有充分的技術根基和先發優勢，同時也是針對市場需求的順勢而為。汪洋表示芯原已在Chiplet領域進行了較長時間的調研和布局。公司創始人、董事長兼總裁戴偉民本人也曾是世界電子工程師協會（IEEE）多芯片模塊國際會議的創辦主席，以及IEEE芯片封裝綜合設計研討會的創辦主席，并于業界首次提出了“系統級封裝（SiP）”這一專業術語。Chiplet則是SiP技術發展至今的重要表現形式之一。芯原正在以“IP芯片化（IP as a Chiplet）”、“芯片平臺化（Chiplet as a Platform）”和“平臺生態化（Platform as an Ecosystem）”理念為行動指導方針，從接口IP、Chiplet芯片架構、先進封裝技術、面向AIGC和智慧出行的解決方案等方面入手，持續推進公司Chiplet技術、項目的發展和產業化。目前芯原已經取得了部分技術成果，并已經形成了產業化的客戶芯片產品。

汪洋還提到了芯原在開發邊緣智能應用相關芯片設計解決方案時，所采取的其他技術方面的舉措：比如根據不同應用場景提供創新的電源管理域來極大地減少靜態和動態功耗；基于芯原從IP到芯片設計的一站式技術平臺，實現算法、硬件和軟件的協同設計，確保三者高效協同工作，減少不必要的計算和數據移動；通過可伸縮、可擴展的架構設計，使客戶可以根據自己的需求在成本和性能之間做出權衡，并靈活增添自己的技術模塊等。通過上述方法，芯原可以在確保邊緣智能應用所需的算力的同時，有效控制功耗和成本，滿足市場對高性能、低功耗和成本效益的邊緣智能芯片的需求。

據介紹，作為全球領先的一站式芯片定制服務和半導體IP授權服務企業，芯原擁有豐富的處理器IP儲備，包括圖形處理器IP（GPU IP）、神經網絡處理器IP（NPU IP）、視頻處理器IP（VPU IP）、數字信號處理器IP（DSP IP）、圖像信號處理器IP（ISP IP）和顯示處理器IP（Display Processor IP）這六大類處理器IP。特別的，芯原的六大類處理器IP可以進行原生協同工作，在流水線級做深度耦合，并開放接口給客戶，使得客戶可以集成自己的IP。針對IP間的高效協同工作，芯原還開發了統一幀緩沖壓縮（Unified Frame Buffer Compression）技術，通過無損或有損壓縮來連接所有像素處理器IP，以最大限度地減少SoC的整體DDR帶寬，并實現高性能計算。此外，芯原還開發了FLEXA同步接口通信技術，用以高效地連接多個IP，從而形成面向低延時、低帶寬和低功耗應用的子系統解決方案。憑借芯原在像素處理方面的關鍵技術和先進的嵌入式人工智能解決方案，公司推出了一系列創新的AI-ISP、AI-GPU、AI-Display、AI-Video 等IP子系統。

進入2023年，生成式AI的興起為邊緣端設備芯片制造商帶來了新的技術要求，比如包括大量的浮點運算和矩陣運算的高性能計算能力、邊緣處理器可能需要集成專用的高效AI加速器或神經網絡處理器（NPU）、高效的存儲器訪問機制和帶寬節省技術以及諸如更快的實時處理能力以及更高的安全性等。針對這些市場需求，汪洋介紹，芯原已經全面布局了AIoT和AIGC計算領域，主要成就包括以下幾個方面。

在AIoT領域，芯原用于人工智能的神經網絡處理器IP（NPU）業界領先，已被72家客戶用于其128款人工智能芯片中，集成了芯原NPU IP的人工智能（AI）類芯片已在全球范圍內出貨超過1億顆，這些內置芯原NPU的芯片主要應用于物聯網、可穿戴設備、智慧電視、智慧家居、安防監控、服務器、汽車電子、智能手機、平板電腦、智慧醫療這十個市場領域。在全球頂尖的蘇黎世聯邦理工學院（ETH Zurich）計算機視覺實驗室（Computer Vision Lab）發布的《AI Benchmark IoT性能榜單》中，位列前5的處理器中就有3款芯片內置了芯原的神經網絡處理IP。

根據目前邊緣人工智能市場的需求，芯原基于自身神經網絡處理器IP可伸縮可擴展的特性，已發展了覆蓋從高性能云計算到低功耗邊緣計算的垂直解決方案；結合芯原多年來在多媒體處理領域的技術和IP積累，公司還推出了從攝像頭輸入到顯示器輸出（Glass-to-Glass）的完整的智能像素處理平臺。此外，芯原的NPU IP與GPU IP、VPU IP等有機結合，可創新性地大幅提高后者的處理性能。例如，公司基于自研的GPU IP和NPU IP，推出了創新的AI GPU IP子系統，以應對人工智能不斷發展的應用需求。

針對AIGC應用，大算力是支撐其快速發展演進的根基。OpenAI預估人工智能應用對算力的需求每3.5個月翻一倍，每年增長近10倍，這也極大地提升了GPGPU的市場應用空間，并對其性能提出了更高的要求。GPGPU利用圖形處理器進行非圖形渲染的高性能計算，具有很好的高強度并行運算能力，非常適用于處理人工智能、專業計算加速等應用。芯原基于約20年GPU的研發經驗，所推出的GPGPU IP可提供從低功耗嵌入式設備到高性能服務器的計算能力，以高度可擴展的IP核重新定義了計算市場，以滿足廣泛的人工智能計算需求。

針對人工智能產業所面臨的安全性和隱私性等問題，芯原還與谷歌合作以支持谷歌新推出的開源項目Open Se Cura。該項目是一個由設計工具和IP庫組成的開源框架，旨在加速安全、可擴展、透明和高效的人工智能系統的發展。作為該項目基礎設施的一部分，芯原提供了多個IP、低功耗芯片設計、板級支持包（BSP），并負責推動該項目的商業化。

針對AIGC在邊緣側的應用，汪洋認為AIGC模型的訓練主要在云端進行，邊緣智能硬件除了可以進行機器學習、神經網絡加速等，也可以針對AIGC模型進行微調和推理，但是這需要高性能的計算芯片來作支撐。針對AIGC在云端、邊緣端的部署，芯原為客戶提供從驅動層到工具庫，再到應用層軟件的全面支持。其中，芯原提供一個全自主研發的模型部署工具鏈Acuity，包含模型轉換、模型量化壓縮、圖優化、圖編譯等功能，可以快速幫助用戶實現從模型到部署。支持Pytorch、Tensorflow、ONNX、TFLite等所有主流框架。針對AIGC類的大模型還支持4bit Group Quantization以及混合精度等功能，在盡量保證精度的情況下進一步壓縮模型大小。通過Acuity工具鏈編譯產生的Network Binary Graph(NBG)可以直接部署在VIPLite 運行時來完成端測推理。VIPLite 是一個超輕量的推理runtime，運行時的內存消耗最小約為200KB，支持Linux、RTOS甚至BareMetal。

針對邊緣智能不斷變化和增長的市場需求，汪洋直言，芯原將從多個維度持續升級和優化自有的技術。包括但不限于推出商用化的Chiplet解決方案，持續優化NPU、GPU、GPGPU、AI子系統等IP解決方案，通過為客戶提供兼顧性能與能效比，具有增強的安全性能，支持更多AI框架，包括硬件、軟件和開發環境在內的整體解決方案，來不斷強化芯原在邊緣智能領域的市場地位。