混合用于低功耗傳感器的模擬和數字脈沖神經網絡

Innatera 開發的 Pulsar 片上系統 （SoC） 集成了多個低功耗人工智能/機器學習 （AI/ML） 脈沖神經網絡 （SNN） 加速器，這些加速器針對基于傳感器的解決方案（圖 1）。我與 Innatera 的首席執行官 Sumeet Kumar 討論了這款 SoC 如何在基于電池供電或能量收集的應用中提供始終在線 （AON） 的神經網絡作。

1. Innatera 的 Pulsar 片上系統集成了模擬和數字尖峰神經網絡 （SNN） 以及 FFT 和 CNN 加速。

與基于云的 AI/ML 支持和更耗電、非 SNN、基于邊緣的解決方案相比，AON作和在本地處理所有數據的能力在延遲、隱私和性能方面具有顯著優勢。

模擬和數字尖峰神經網絡有什么區別？

脈沖神經網絡，也稱為神經形態計算，比卷積神經網絡 （CNN） 等傳統的數字深度神經網絡 （DNN） 與生物神經元的關系更密切。SNN 使用基于時間的 “尖峰” 作為輸入，導致 “神經元” 根據與輸入相關的權重產生額外的尖峰（圖 2）。這模擬了真實神經元的運作方式，而 CNN 則并行處理所有輸入。

2. 脈沖神經網絡是面向時間的，帶有 “spikes”。

SNN 可以作為模擬或數字電路實現。主要區別在于它們的實現方式，而不是它們的邏輯作。兩者都利用權重并通過多級數組觸發神經元。模擬方法具有連續運行和集成以及非常低功耗運行的優勢。數字方法更靈活，更適合某些模型。

Innatera 的 Pulsar 包括模擬和數字 SNN 加速，使開發人員能夠選擇用于特定 AI/ML SNN 模型的選項。

為什么在一個芯片上混合使用模擬和數字 SNN？

該公司在 Pulsar 上混合了多個加速器。這包括模擬和數字 SNN 加速器以及 CNN 和快速傅里葉變換 （FFT）。每個都有自己的優勢，允許開發人員根據應用程序利用每個。加速器針對應用程序的特定方面進行了優化;他們可能在特定時間活躍，也可能不活躍。例如，超低功耗模擬 SNN 可用于跟蹤傳感器作，并在檢測到某些情況時啟動其余硬件。

如何混合使用模型的一個示例是智能門鈴，它確定何時在視野中。傳感器可以是視頻、紅外或雷達。SSN 精通這種類型的身份證明。

為什么 SNN 是始終在線的機器學習作的關鍵

Pulsar 的 SNN 效率比在傳統的數字 DNN 中實現類似模型高出大約兩個數量級。這種電力要求的降低從根本上改變了

AI/ML 加速器由支持浮點的 32 位 RISC-V 處理器控制，類似于 Arm Cortex-M4F。它可以處理 AI/ML 雜務，但通常它管理數據、通信和系統作。處理器可以在 SNN 運行時休眠。

Pulsar 采用 2.8 × 2.6 mm 晶圓級芯片級封裝 （WLCSP）。軟件支持通過 Innatera 的 Talamo 套件提供，該套件與 PyTorch 集成。開發人員可以在 PyTorch 中創建和測試模型，以便在 Pulsar 上實現。仿真器提供芯片的全功能仿真，使開發人員能夠在模擬和數字 SSN 以及 CNN 加速器上測試模型。