AI芯片能力亟需提高，數據仍是AI核心

作者/上海兆芯集成電路有限公司GPU架構總設計師 顧德明

目前，全球技術正面臨著一場巨大的變革，智能無處不在的浪潮已然悄然到來！政府先后推出《新一代人工智能發展規劃》和《促進新一代人工智能發展三年行動計劃（2018-2020年）》，把AI提高到國家戰略層次，建立了相對完整的研發促進機制，協同推進AI發展。當下，傳統行業例如工業控制、醫療影像、零售、汽車、安防等都在思考如何向智能方向轉型。

作為AI核心的處理器技術，其最新發展為設計人員在統一的智能控制模型下實現創新帶來了良機。通過在控制層面對性能、功能作詳細分析，利用統一的標準處理器內核架構，設計人員不但能夠以極具競爭力的價格獲得最優解決方案，還可以通過軟件復用來降低軟件的開發成本，大幅縮短設計周期。

x86作為行業的主流處理器，其架構的優點在于功能強大，而且通用性、兼容性、實用性強，應用范圍廣。傳統應用領域可以在不影響其核心業務的情況下，采用x86+AI加速器的方式獲得智能方向的新探索，從而讓應用快速落地。

除此之外，與深鑒科技、寒武紀科技等國內AI創業公司在細分行業領域的垂直深耕不同，兆芯還注重于解決AI服務端的訓練和推理的芯片問題。這個領域難度高，挑戰大，對于國家安全和國內AI產業未來的可持續性發展具有深遠的意義。

現階段，服務端的AI芯片仍被國外完全壟斷，以NVIDIA為首的GPU AI目前占有絕對的領先地位。Amazon、Google、Microsoft等國外公司也為自己的云服務平臺開發了專屬的ASIC芯片（雖然并不能像NVIDIA兼容龐大的生態，但是具有不錯的能耗比）。

好的服務端芯片，不僅要兼容各類AI框架軟件生態，還需要硬件擁有高能效比、可虛擬化等諸多特點。

兆芯研制的基于GPU框架的可編程AI芯片能很好地滿足服務端的需求，不僅可以兼容NVIDIA創造的生態環境，做到即插即用，其獨有的壓縮技術和AI加速器還能讓芯片具有傳統GPU無法達到的高能效比。

目前AI技術仍處于起步階段，監督學習仍是主要的手段。AI的主流分支--深度學習技術也將隨著計算力的不斷提升，創造出更加智能的落地應用。

在兆芯看來，短期內，AI的發展趨勢有如下特點：

1. 網絡的復雜度和訓練集的規模將會進一步提高，計算復雜度將達到一個新的高度。

2. 帶label的數據將成為AI發展階段最有價值的資源。

3. 傳統的AI是在設計好的網絡結構下訓練未知參數，而最新的方法利用GAN類似的機制，可以將網絡訓練成一個更高精度的全新網絡框架，而不需要設計者參與。這對于做框架算法的人也帶來了巨大的挑戰--他們該如何在這個重數據的AI時代突破重圍，將AI帶到更高的臺階。

4. CNN等網絡的安全性問題，例如pixel攻擊（通過干擾讓目標識別錯誤，或者認定為指定目標），這也對現有的應用安全落地帶來了極大的挑戰。因為在某些應用中安全性是致命的決定因素，如自動駕駛。

5. 另外新興的網絡如capsule是否有機會替代現有CNN網絡，這些對于不能軟件編程的AI芯片來說也許是致命的。

AI芯片設計面臨速度、安全及兼容的挑戰

這些動向對兆芯的處理器設計和AI芯片設計都提出了一系列的挑戰。

處理器技術決定互聯、智慧與傳統制造業的融合度，從而帶動產業鏈上下游企業競相入局。AI對處理器設計提出了更高的要求。如邊緣計算，AI設備需要高度集成，低功耗的專用解決方案，因此可以選擇將專用AI模塊集成到SoC內部，并對SoC訪存系統進行優化，滿足AI模塊的高帶寬需求，同時可以通過內置硬件編解碼器，提升視頻的處理性能。在云端計算層面，可以選擇支持多PCI-E 3.0接口，連接GPU或AI加速卡，構建AI運算平臺。傳統行業設計人員可以復用部分原始軟件代碼，將智能功能調用AI完成，從而降低軟件的開發成本，并大幅縮短新產品設計周期。

而在AI芯片設計方面，具體挑戰如下：

1. 網絡復雜度提高，意味著需要更高的計算能力。如何在現有的工藝限定下，最大限度地提高有效計算力（有效計算力，指的是實際的處理速度，而不是物理上的計算單元數目）。這就要求大家能夠最大限度地解決帶寬、芯片互聯、功耗、同步等問題，這些是決定芯片效率的關鍵因素。

2. 由深度學習產生的非規則的網絡結構，雖然效果好，但是復雜的連接關系會令傳統ASIC AI芯片更加難以優化加速。

3. 安全性問題是AI最為敏感話題，也是新的網絡結構的需求，或者說下一代的AI網絡結構需要解決的問題。

4. 新興網絡，如capsule,雖然解決了CNN網絡諸多問題，也引出了與現有硬件不太適應的問題。如何提好訓練效率，如何設計硬件讓其在可編程性和高效之間達到一個平衡點，來滿足不斷演進的算法需求，是芯片設計商的設計原則。

x86+外接AI PCIe加速卡及AI計算芯片

兆芯是國內僅有的同時掌握中央處理器（CPU）、圖形處理器（GPU）、芯片組（Chipset）三大核心技術的公司，擁有三大核心芯片及相關IP的完全自主設計研發能力，全部研發環節透明可控。因此，我們可以利用自身優勢，針對AI應用需求，優化產品設計，為客戶提供高效、高性能、低功耗的解決方案。

目前，兆芯產品已經廣泛應用于臺式機、筆記本、一體機、存儲服務器、磁盤陣列、工控整機等多種形態產品，是國內唯一具備無縫替代國外同類產品條件的國產自主可控通用CPU。

面對AI需求的迅速崛起，我們正在思考如何對這些產品形態進行智能升級，通過x86+外接AI PCIe加速卡的方式構建運算平臺加速應用落地。

與此同時，兆芯已經利用自己GPU技術的獨特優勢，設計了全新的AI計算芯片：

1. 基于兆芯GPU的AI硬件加速框架很好的解決了：

2多計算單元的并行性管理和可擴展性問題

2軟件生態的兼容性問題，支持OpenCL，CUDA等GPGPU API

2. 獨有專用加速器在能效比和可編程性之間做了很好的折中

3. 新型壓縮技術大幅降低了芯片的帶寬需求，從而有效的提高了計算單元和加速器利用率

4. 支持硬件虛擬化

5. 靈活的GPGPU編程，可以適應多樣算法變革，全新同步機制可以高效完成多局部和多芯片同步，較好的適應新興的網絡結構

6. 在解決安全的方向上，如視覺攻擊，兆芯利用自主設計的視覺芯片和深度學習相結合的方式大幅度降低了攻擊成功的概率

總之，對于AI來講，目前仍處于一個開始的階段，數據仍是整個AI的核心，硬件和軟件架構都在不斷的相互變化中，每一次硬件變革都會帶來軟件變化，軟件變化，工藝變化又會促進硬件的進一步改良。對于兆芯來講，我們一方面會不斷演進加速器設計，讓其更好的加速主流算法，同時會保留足夠通用編程靈活性，給新的算法創造好的并行計算環境，也為國內AI高端芯片自主可控發展貢獻力量。