知合計算黃怡皓：基于RISC-V架構的大模型技術創新與應用

7月18日，第五屆RISC-V中國峰會在上海進入分論壇環節。作為未來電子產業最龐大的應用范疇之一，人工智能是不可回避的話題。人工智能的飛速發展，正以年均超過100%的算力需求增長驅動底層架構的革新，“開放、靈活、可定制”的RISC-V已成為構建自主AI算力基石的戰略支點。人工智能分論壇邀請各方企業探討RISC-V架構如何利用其開源、開放、可擴展的特性，實現AI計算架構的革新，以及RISC-V架構在AI軟硬件的最新進展和應用落地情況。 

知合計算解決方案總監黃怡皓分享了他們在基于RISC-V架構的大模型技術創新與應用進展。從2017年6月份開始，Transformer橫空出世到2025年7月份總共已經經歷了8年的時間。這個周期里面有幾個標志性的事件：2022年11月份ChatGPT實現引領了一大波對于大模型的期待。然后到了今年1月份DeepSeek的出現，讓大家又對現在國產化及開源大模型的認知到達了一個新的高度。可以看到模型在整個過程中經歷了很多的變化，但是不管它的技術創新點如何調整、它的底層架構依然是Transformer。 

    現在雖然模型整體是“百花齊放”的，但是核心算子卻一直在逐漸的趨同。這里是有三個模型簡介：最早的GPT-2，之后千問及DeepSeek R1模型，它們的模型架構非常統一，前面部分就是Attertion。到了第二個階段FFN，到最后提出一個新的FFN就是MOE架構、目的為了減少計算量。這幾個模型的變化都集中在具體的架構內部里面，而沒有改變整個Transformer的結構，他們的算子也基本上集中在“22個、21個”左右。這“22個、21個”算子其實大家都是比較一致的。    現在模型的算力不但算子集中，而且模型的子之間的算力也非常集中。在所有的算子中，我們排了一個用途最多的幾個算子，DeepSeep7B模型中核心算子共11個，Matmul計算量占比約95%。

    RISC-V本身作為一個開源的指令集，它的可擴展性非常強，在上面集成了AME指令，它現在完美適配了Matmul算子。11個算子中除了3個算子外，其他均可以采用AME去做優化。模型創新除了在架構層面微創新之外，還有一個點就是大家都在調整算子的數據格式，包括最早的FP32到現在DeepSeek的FP8等這些算子我們現在都支持了。現在AME算子指令能夠做到矩陣大小16行，每一行大概可以做到512bit大小、一次可以做到相當于一個字節的矩陣大小。

黃怡皓分享的核心觀點是AI在Transformer之后，將從原來單純的識別功能走向現在認知的功能。下圖最左側是傳統CNN網絡做卷積，它能夠實現最直接的效果就是識別，能夠知道“行人、汽車、動物”，但是很難識別它們之間的關系。接入大模型之后，可以通過Transformer、統一大買性可以判斷不同物體之間的動作及相互之間的關系。第一張圖是“熊貓吃竹子”的動作，第二張圖是“植物上的昆蟲”、只會把停留在植物之上的昆蟲識別出來。除了這兩個場景之外，我們也跟客戶合作做了一些家庭的場景，就是他們有一個需求：“搜索小孩子是在學習，以及小孩子是在玩手機。”我們做了一個比較典型的場景，就是傳統的CNN放是可以實現這個功能、過程比較復雜，需要先識別人、再識別手機，然后識別人的手臂，再識別手臂跟手機的相互位置關系，才能判斷小孩子到底是不是在玩手機。而通過我們的模型，直接搜索“兒童玩手機”，就可以區分的很清楚。

 針對AI已經實現的場景及功能，知合計算提供了“通推一體”CPU產品A210，支持Transformer架構，，第二個芯片A600搜查的算子、架構、內都是統一的，包括所有對外的接口都是統一的，知合希望用戶在對接這些接口都變得非常的流暢、非常的順滑。基于A210平臺做的AI智能體方案中，整個過程把前端的語音輸入到中期數據處理，以及到后續的輸出都做了一套完整的AI智能體。在我們的角度來看，現在想要做一個完全標準化的AI智能體其實難度是非常大的。端測芯片作為A210這樣一個端側芯片來說，它更適合做一些標準化的細分場景的AI智能體。我們用模型取代中間的一些模糊的過程，特別是第二段內容“既要刪除掉原來的巨無霸漢堡，然后換了一個拼盤、加了一杯可樂。”這種場景原來處理非常大，但是我們把這些全都交給模型處理得到這樣的結果。

  在A210用于“模糊搜索”應用案例中涉及到三幀圖象的識別，這三幀圖象分別指針到“蜘蛛俠變身”三個最重要的位置。第二個場景是火災，我們不需要針對特殊的場景去做針對性的訓練，因為依托于大模型的泛化能力、它其實可以給用戶非常簡單的方式就可以去搜索一些其想要的內容，而不需要針對每個場景進行特定的數據材料收集及二次訓練。這個圖象可以看到它停留在火災起火的那一秒、應該是在12秒的時間上，有一個明確的時間點告訴我們這個視頻在12幀的時候起火了。通過這種“模糊搜索”在安防、電影搜索，其實是非常簡便的方式。我們自己也測試過，基于這個模型可以去搜索“門打開的場景”，可以把門打開的一瞬間定位出來。

    基于A21做的兩個典型的場景演示表明，大模型的算子統一在一定程度上為RISC-V提供了一個生態紅利。RISC-V在傳統邏輯上來說跟ARM存在非常大的生態差距，因為算子的統一反而RISC-V在做矩陣、向量這些計算上面大家回到了同一個起跑線。因為RISC-V的開源、以及現在大模型的逐漸開源，可以讓大家對這些算子的優化更加迅速、也更加的直接。知合認為AI能力已經開始慢慢從“識別”走向了“認知”，這個過程中如何將新的這些AI能力跟通用計算能力結合起來，是知合計算接下來要去主要推進的方向。