類腦計算已為大時代做好準備

幾十年來，構建類腦計算機硬件的努力一直在進行，但該領域尚未出現突破時刻。現在，領先的研究人員表示，開始構建第一個可以解決實際問題的大規模神經形態設備的時機已經成熟。

為人工智能的最新進展提供動力的神經網絡大致受到大腦的啟發，展示了從生物學中汲取靈感的技術的潛力。但相似之處只是膚淺的，當今 AI 背后的算法和硬件的運行方式與生物神經元完全不同。

神經形態工程師希望，通過設計更忠實地復制大腦工作方式的技術，我們將能夠模仿其令人難以置信的計算能力和能源效率。這種方法的核心是使用脈沖神經網絡，其中計算神經元通過使用活動峰值進行通信來模擬它們的生物表親，而不是傳統神經網絡中使用的數值。但是，盡管經過了幾十年的研究，私營部門的興趣日益濃厚，但大多數示范活動仍然是小規模的，而且這項技術還沒有取得商業突破。

在 1 月份發表在《自然》雜志上的一篇論文中，該領域的一些領先研究人員認為，這種情況可能很快就會改變。他們認為，神經形態計算已經從學術原型成熟為能夠應對現實世界挑戰的生產就緒設備，現在已準備好向大規模系統飛躍。 與該論文的作者之一 Steve Furber 進行了交談，他是 ARM 微處理器（現在為大多數手機提供支持的技術）的首席設計師，也是 SpiNNaker 神經形態計算機架構的創建者。

史蒂夫·福伯 （Steve Furber） 談關于下列問題：

    為什么神經形態計算正處于關鍵時刻
    軟件與硬件
    打破研究孤島
    規模與生物學合理性
    憶阻器的影響

在論文中，您說神經形態計算正處于一個關鍵時刻。這是什么意思？

史蒂夫·福伯：我們已經證明，該技術可以支持幾乎任意規模的脈沖神經網絡，并且可以使用它們做一些有用的事情。當前的關鍵是，我們確實需要一些殺手級應用的演示。

SpiNNaker 項目始于 20 年前，專注于為腦科學做出貢獻，如果您想構建腦細胞功能模型，神經形態學是一項顯而易見的技術。但在過去的 20 年里，重點已經轉移到工程應用上。要在工程領域真正起飛，我們需要一些神經形態優勢的展示。

與此同時，在這 20 年里，基于一種完全不同的神經網絡的主流 AI 出現了爆炸式增長。這非常令人印象深刻，顯然產生了巨大的影響，但它開始遇到一些嚴重的問題，尤其是在大型語言模型 （LLM） 的能源需求方面。現在人們期望神經形態方法可能會通過顯著減少那些不可持續的能源需求來做出貢獻。

我們即將擁有足以支持神經形態形式的 LLM 的規模的神經形態系統。我認為在較小的一端也有很多重要的應用程序開發。特別靠近傳感器，使用基于事件的圖像傳感器和神經形態處理系統可以提供非常低能耗的視覺系統，可以應用于安全和汽車等領域。

當您談到實現大規模神經形態計算機時，這與已經存在的系統相比如何？

Furber：已經有很多例子，比如大型 Intel Loihi 2 系統 Hala Point。這是一個非常密集、大規模的系統。自 2016 年以來，我們一直在 [英國曼徹斯特大學] 上運行服務的 SpiNNaker 1 機器在系統中有五十萬個 ARM 內核，到 2018 年擴展到 100 萬個。這是相當大的規模。我們在 SpiNNaker 2 [SpiNNcloud Systems，總部位于德國德累斯頓] 上的合作者開始銷售 500 萬個核心級別的系統，他們將能夠運行相當多的 LLM。

現在，神經形態平臺需要進化多少是一個有待回答的問題。它們可以以相當簡單的方式進行轉換以使其運行，但這種簡單的轉換不一定能獲得最佳的能源性能。

那么，硬件不是真正的問題嗎，而是在它上面有效地構建一些東西嗎？

Furber：是的，我認為過去 20 年已經見證了概念驗證硬件系統以所需的規模出現。而是弄清楚如何充分利用他們，這就是差距。其中一些只是復制為基于 GPU 的機器學習開發的高效且有用的軟件堆棧。

可以在 neuromorphic 硬件上構建應用程序，但仍然非常困難。最大的缺失組件是類似于 TensorFlow 和 PyTorch 的高級軟件設計工具，這些工具使構建大型模型變得簡單明了，而不必深入到詳細描述每個神經元的級別。

有相當多樣化的神經形態技術，這有時會使不同群體之間的研究結果難以轉化。您如何打破這些孤島？

Furber：盡管硬件實現通常大不相同，但更高級別有很多共同點。所有神經形態平臺都使用尖峰神經元，神經元本身也相似。在較低級別上，您有各種各樣的細節，但可以通過實現一個軟件層來彌合這些較低級別的硬件差異與較高級別的共性。

我們在這方面取得了一些進展，因為在歐盟的 Human Brain Project 中，我們有一個小組一直在開發 PyNN 語言。它得到了 SpiNNaker（一個多核心神經形態系統）和海德堡大學的 BrainScaleS 系統（一個模擬神經模型）的支持。

但事實是，許多神經形態系統都是在實驗室中開發的，并且只由該實驗室內的其他人使用。因此，它們對追求共性沒有貢獻。英特爾一直在嘗試通過在 Loihi 系統上構建 Lava 軟件基礎設施并鼓勵其他人參與來做出貢獻。因此，有朝這個方向前進的步伐，但遠未完成。

對于神經形態技術的生物學合理性需要有多大，意見不一。該領域需要在這里達成一些共識嗎？

Furber：我認為硬件平臺和使用的神經元模型的多樣性是研究領域的一個優勢。多樣性是一種探索空間的機制，讓您有最好的機會找到開發嚴肅的大規模應用程序的最佳答案。但是，一旦你這樣做了，是的，我認為你需要減少多樣性并更多地關注共性。因此，如果神經形態即將從一個主要由研究驅動的領域過渡到一個主要由應用驅動的領域，那么我們預計會看到這種變化。

如果該領域想要實現規模化，它是否必須犧牲一點生物學上的合理性？

Furber：生物保真度和工程可控性之間存在權衡。復制 LLM 中使用的極其簡單的神經模型不需要很高的生物保真度。現在，可以說，如果您可以整合更多的生物細節和功能，則可以將這些模型所需的神經元數量減少一個重要因素。如果這是真的，那么最終整合這些更復雜的模型可能是值得的。但要證明情況確實如此，仍然是一個很大的研究問題。

近年來，憶阻器（模擬神經元某些功能的存儲設備）引起了人們的廣泛關注。這是否改變了人們接近神經形態計算的方式？

Furber：我確實認為，正在開發的技術有可能在非常低的水平上提高硬件效率方面產生變革性。但是，當我觀察英國的神經形態研究格局時，其中很大一部分集中在新型設備技術上。可以說，人們對此的關注有點過分了，因為系統問題總體上是相同的。

除非我們能夠在系統級問題上取得進展，否則支撐技術是什么并不重要，我們已經有平臺可以支持系統級問題的進展。

該論文表明，大規模神經形態計算的時機已經成熟。近年來，有什么變化讓您對此持積極態度，還是更像是一種戰斗號召？

Furber：它有點介于兩者之間。有證據表明它正在發生，神經形態領域有許多有趣的初創公司正在設法生存下來。因此，這證明擁有大量可用資金的人開始準備在神經形態技術上花錢。更廣泛的社區都相信 Neuromorphic 的時代即將到來。當然，主流機器學習在能源方面面臨的巨大問題，這是一個迫切需要解決的問題。一旦有令人信服的證明神經形態學可以改變方程式，那么我認為我們將看到事情開始轉變。