清華團隊研發光電融合芯片，算力是商用GPU的3000余倍，推動構建生態友好的AI計算框架
加入技術交流群
研究人員表示：“形象來說，如果原本的電量可支持現有高性能芯片工作一小時，那么相同的電量供給下 ACCEL 芯片可以工作五百多年。”
圖 | 部分團隊成員合影（來源：資料圖）論文中的實驗演示表明，該芯片的成功研制證明了光子計算在諸多 AI 任務中的優越性（即光子霸權），也為解決摩爾定律增速放緩、構建生態能源友好的大規模 AI 計算框架開辟了新路徑。
圖 | ACCEL 芯片（來源：課題組）在論文中，研究人員用“All-analog Chip Combining Electronics and Light”來描述這款光電融合芯片的特征。這句英文的首字母簡稱為 ACCEL，恰好是“加速”的含義。
當前，人類正處于算力需求爆炸式增長的時代，超高性能的計算架構有著大量用武之地。研究人員非常希望能將 ACCEL 芯片快速用于實踐之中。
目前，他們正在基于 ACCEL 芯片的光電計算框架，開展一系列應用探索例如自動駕駛、野外監測、物聯網傳感器網絡、計算機視覺等。
目前，他們已經開展了將超高速圖像計算，用于光纖通信中的信號編解碼和誤碼糾錯的探索，有望將光纖通信端到端信號處理的時延降低四個數量級。
一旦計算時間從三小時變成三秒鐘，很多日常生活應用和科學計算任務將會發生質的變化。
圖 | 光電計算芯片 ACCEL 的計算原理和芯片架構（來源：Nature）據介紹，ACCEL 芯片通過融合光域計算和模擬域電計算，來實現神經網絡的計算。在光域之中，ACCEL 芯片通過一個多層光學衍射神經網絡，針對所輸入的高分辨率圖像，以光速來進行特征提取和數據降維。
衍射網絡的輸出，則由一個光電二極管陣列加以接收，并通過光電效應轉換成模擬電流信號。通過這種光域處理，可以極大地減小數據維度，從而降低光電轉換的規模。
其中，每一個光電二極管所產生的光電流，會根據電網絡的權重參數流入相應的計算結點之中，并基于基爾霍夫定律實現模擬域的電計算。
這時，通過光電二極管這一超高速、低功耗的光電接口，光網絡和電網絡完成連接，讓光電融合計算系統實現直接、高效的集成。
那么，在自動駕駛等視覺任務中，ACCEL 芯片的泛化能力如何？泛化能力，通常指一個模型對于新樣本、新場景的適應能力。
ACCEL 不僅在不同測試集上表現出很好的泛化能力，在不同工況下也具備優秀的泛化性。比如，同樣是用于交通場景的計算，如果出現極弱光、超高幀率等場景，相比單獨光計算或電計算，ACCEL 芯片在抗噪聲訓練算法之下表現出極好的魯棒性。
此外，現有光計算系統，常常針對特定的專一任務而設計，這導致其應用范圍受到限制。而 ACCEL 芯片融合光域計算和模擬域電計算，可以輕松實現重構。
當針對特定任務來設計并制備出來 ACCEL 芯片之后，借助電信號域的易編程性，ACCEL 芯片能夠重新訓練電網絡的參數，從而適用于不同的任務，而幾乎不影響最終準確率。
圖 | 光電計算芯片 ACCEL 在不同任務和光強下的性能（來源：Nature）
比如在物理學史上著名的楊氏雙縫實驗中，相干光經過帶有兩條狹縫的擋板之后，會在后面的探測板上得到明暗相間的條紋。如果把相干平行光看做輸入，探測板上的圖案看做輸出，上述實驗就可以簡單抽象理解為：擋板對輸入光進行了調控，并通過光在擋板和探測面之間的傳播，實現了對于輸入光信號的處理。
對于現有光計算來說，許多思想都和上述過程類似。即通過精細調控光傳播的過程，改變接收位置處的光相位、光振幅、光偏振等物理屬性，從而實現光域的計算和信號處理。
光計算芯片的優勢在于光子的高速度、低耗能和大帶寬，這能為大規模并行計算和高速數據傳輸提供極具潛力的解決方案。
與此同時，在大量視覺任務及日常生活場景中，原始信號本身就是光信號。使用傳統解決方案，需要在傳感器拍攝之后，再使用電子芯片進行處理，這會增加光電轉換、存儲、以及計算的步驟。相比之下，利用光直接進行計算，是一種更自然、更高效的方式。
近年來，面對摩爾定律增速放緩和失效危機，光計算作為一種新型計算范式，得到了廣泛關注并被寄予厚望。相比目前的電子器件，通過在光域之中直接對原始視覺信息進行處理，讓光計算在速度和能效上得以提高幾個數量級。然而，目前的光計算系統面臨著非線性實現復雜、光電接口耗能等國際難題，導致不少科研工作評估的高性能優勢難以落地并實現應用。
基于此，該團隊便將課題初衷瞄準攻克當前光計算領域存在的瓶頸，讓光計算的超高性能從實驗室走到日常生活。
光芯片，如何完善？
為解決上述國際難題，本次研究首次提出了深度融合的光計算和模擬電計算，建立起一種全模擬的芯片計算框架。
為了克服現有光計算系統的痛點，研究人員把目光轉向同為模擬計算的電域模擬計算：它借助基爾霍夫電壓電流定律、電荷守恒定律等基本的物理規律實現計算。而光信號通過光電效應轉換成模擬電信號時，存在著本征的非線性關系。
基于此，他們提出了新的計算范式：ACCEL 將用于大規模提取視覺特征的衍射神經網絡和基于基爾霍夫定律的純模擬電子計算，集成在同一枚芯片框架內。借此繞過模擬數字轉換器速度、精度與功耗相互制約的物理瓶頸，從而在一枚芯片之內就能突破大規模計算單元集成、高效非線性、高速光電接口等三大關鍵瓶頸。在保證高任務性能的同時，還實現超高的計算能效和計算速度。
圖 | ACCEL 有望用于電子設備超低功耗人臉喚醒示意動圖（來源：清華大學）
之后，兩者所在課題組開展的討論中，便萌生了這樣一個想法：既然同為模擬計算領域，那么是否可以通過深度合作，共同解決領域內的瓶頸問題？
很快他們定下了這項課題。隨后，先是開展理論建模和仿真驗證，針對衍射光網絡的計算模型、光電效應的非線性模型模擬、以及電網絡的計算模型，開展了物理推導、物理仿真和芯片設計。
后來在實際流片后和芯片實測中，為了克服實際系統部署中所存在的誤差累積和噪聲，他們對這些非理想因素進行建模，借此開發出一套系統性修正算法，以此來應對弱光噪聲、對齊、加工誤差等非理想因素。借此實現了與仿真結果符合度較高的實驗準確率。
此后，他們又對芯片系統級的能效和算力加以評估。實測結果顯示，ACCEL 芯片在系統級算力和能效上，分別比目前高性能的商用工業級 GPU 高出千余倍和百萬余倍。
為了確保如此驚人數據的可靠性，研究人員做了尤為扎實的工作來進行實測和驗證。
他們不僅實測了 ACCEL 芯片端到端系統級的耗能數據和時延數據，還進一步提出了等效算力的概念。直接從準確率的角度來衡量計算效果，從而能夠摒除不同物理建模方式的影響。
真正做到即便在復雜數據集之上，也能達到和數字卷積神經網絡相同的準確率，同時將端到端系統級的耗時降低千倍、耗能降低百萬倍。打消了業內人士對光計算算力“有效性”的顧慮。
最終，相關論文以《用于高速視覺任務的全模擬光電子芯片》（All-analog photoelectronic chip for high-speed vision tasks）為題發在 Nature[1]，博士生陳一彤、博士生麥麥提·那扎買提、許晗博士是共同一作，清華大學戴瓊海院士、方璐副教授、喬飛副研究員、吳嘉敏助理教授擔任共同通訊作者。
圖 | 相關論文（來源：Nature）后續，他們將研究規模更大、算力更強的模擬域光電融合系統，這需要在算法層面和硬件層面，開展更高層次的聯合設計優化。
另外，以大語言模型為基礎，基于新型 AI 算法的高效硬件計算平臺，也是非常值得研究的方向之一。
毋容置疑，硬件算力的提升是引領當今 AI 浪潮的重要引擎之一。研究人員認為，基于全模擬光電融合計算的框架，有著非常好的應用前景。
要想進一步拓展應用范圍，就需要構建從軟件到硬件的生態環境。而一個完善的生態環境，則需要由學界和業界協同打造，因此他們非常期待業界可以在該方向上部署相關業務，讓前沿學術成果能夠加速轉化成為產品，完成高效計算平臺范式的進一步跨越。
參考資料：
1.Chen, Y. et al. All-analog photoelectronic chip for high-speed vision tasks. Nature https://doi.org/10.1038/s41586-023-06558-8 (2023).
運營/排版：何晨龍
*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
