清華大學發布創新AI光芯片，實現160 TOPS/W的通用智能計算

人工智能浪潮下，光芯片發展在提速。

作為人工智能的三駕馬車之一，算力是訓練AI模型、推理任務的關鍵。

清華大學科研團隊的新成果發布在了4月12日凌晨的最新一期《科學》上，首創分布式廣度智能光計算架構，研制出全球首款大規模干涉衍射異構集成芯片“太極（Taichi）”，實現了160 TOPS/W的通用智能計算。

據介紹，“太極”光芯片架構開發的過程中，靈感來自典籍《周易》，團隊成員以“易有太極，是生兩儀”為啟發，建立了全新的計算模型，實現了光計算強悍性能的釋放。

光計算，顧名思義是將計算載體從電變為光，利用光在芯片中的傳播進行計算，以其超高的并行度和速度，被認為是未來顛覆性計算架構的最有力競爭方案之一。

光芯片具備高速高并行計算優勢，被寄予希望用來支撐大模型等先進人工智能應用。

據論文第一作者、電子系博土生徐智吳介紹，在“太極”架構中，自頂向下的編碼拆分-解碼重構機制，將復雜智能任務化繁為簡，拆分為多通道高并行的子任務，構建的分布式'大感受野’淺層光網絡對子任務分而治之，突破物理模擬器件多層深度級聯的固有計算誤差。

論文報道：“太極”光芯片具備879T MACS/mm的面積效率與160 TOPS/N的能量效率。首次賦能光計算實現自然場景千類對象識別、跨模態內容生成等人工智能復雜任務。

“太極”光芯片有望為大模型訓練推理、通用人工智能、自主智能無人系統提供算力支撐。

人工智能需要光子電路

人工智能通常依賴于人工神經網絡，用于分析醫學掃描和生成圖像等應用。在這些系統中，稱為神經元的電路組件（類似于人腦中的神經元）被輸入數據并合作解決問題，例如識別人臉。如果神經網絡擁有多層這些神經元。

隨著神經網絡的規模和功率的增長，它們在傳統電子設備上運行時變得越來越耗能。例如，為了訓練其最先進的神經網絡 GPT-3，2022 年《自然》雜志的一項研究表明，OpenAI 花費了 460 萬美元在兩周內運行 9200個GPU。

電子計算的缺點導致一些研究人員將光學計算作為下一代人工智能的有希望的基礎進行研究。與電子對應物相比，這種光子方法使用光來更快地執行計算，并且功率更低。

清華大學領銜開發出的光子微芯片Taichi，可以在高級人工智能任務中與電子設備一樣執行，同時被證明更加節能。

“光學神經網絡不再是玩具模型，”清華大學電子工程副教授Lu Fang說：“它們現在可以應用于現實世界的任務。”

光學神經網絡是如何工作的？

開發光學神經網絡主要有兩種策略：1、在微芯片內以特定模式散射光；2、讓光波在器件內部以精確的方式相互干擾。當以光的形式輸入這些光學神經網絡時，輸出光會對這些器件中執行的復雜操作的數據進行編碼。

Fang 解釋說，這兩種光子計算方法都有明顯的優點和缺點。例如，依賴于散射或衍射的光學神經網絡可以將許多神經元緊密地聚集在一起，并且幾乎不消耗任何能量。基于衍射的神經網絡依賴于光束在穿過代表網絡操作的光學層時的散射。然而，基于衍射的神經網絡的一個缺點是它們無法重新配置。每個操作字符串基本上只能用于一個特定任務。

相比之下，依賴于干擾的光學神經網絡可以很容易地重新配置。基于干擾的神經網絡通過信道網格發送多個波束，它們在這些信道相交處的干擾方式有助于執行設備的操作。然而，它們的缺點是干涉儀也很笨重，這限制了這種神經網絡的擴展能力。它們也會消耗大量能量。

此外，當前的光子芯片會遇到不可避免的錯誤。試圖通過增加這些器件中的神經元層數量來擴展光學神經網絡通常只會成倍地增加噪聲。這意味著，到目前為止，光學神經網絡僅限于基本的人工智能任務，例如簡單的模式識別，換句話說，光學神經網絡通常不適合先進應用。

研究人員表示，相比之下，Taichi是一種結合了衍射和干涉方法的混合設計。它包含衍射單元簇，可以在緊湊的空間內壓縮數據以進行大規模輸入和輸出。該芯片還包含干涉儀陣列，用于可重構計算。Fang表示，為 Taichi 開發的編碼協議將具有挑戰性的任務和大型網絡模型劃分為可以分布在不同模塊中的子模型。

Taichi 如何融合這兩種神經網絡？

以前的研究通常試圖通過模仿電子對應物經常做的事情來擴展光學神經網絡的容量——增加神經元層的數量。Taichi 的架構通過將計算分布在多個并行運行的小芯片上來擴展，這意味著 Taichi 可以避免當光學神經網絡將許多神經元層堆疊在一起時發生的指數級累積錯誤問題。

“這種'深度淺，寬度寬'的架構保證了網絡規模，”Fang說。