Glow神經網絡編譯器首次應用于MCU，面向邊緣端機器學習

恩智浦半導體NXP Semiconductors N.V. 近日發布了 eIQ機器學習（ML）軟件對Glow神經網絡（NN）編譯器的支持功能 ，針對恩智浦的i.MX RT跨界MCU，帶來業界首個實現以較低存儲器占用提供更高性能的神經網絡編譯器應用。Glow編譯器由Facebook開發，能夠集成特定于目標的優化，恩智浦利用這種能力，使用適用于Arm Cortex-M內核和Cadence Tensilica HiFi 4 DSP的神經網絡算子庫，最大程度地提升i.MX RT685以及i.MX RT1050和RT1060的推理性能。此外，此功能已集成到恩智浦的eIQ機器學習軟件開發環境中，在恩智浦的MCUXpresso SDK中免費提供。

●   恩智浦展示了應用于MCU的Glow神經網絡編譯器為基于視覺和語音的機器學習應用帶來的諸多優勢。恩智浦也是首家針對MCU實現相較于標準版Glow 2至3倍性能的半導體供應商

●   開源Glow編譯器最初由Facebook開發，恩智浦現在將其集成到eIQ?機器學習軟件開發環境中，為旗下i.MX RT系列跨界MCU提供高性能推理

●   恩智浦的Glow實施面向Arm^? Cortex^?-M內核和Cadence^? Tensilica^? HiFi 4 DSP，為i.MX RT系列跨界MCU提供特定平臺的優化

使用Glow充分發揮MCU架構特性的優勢

2018年5月，率先開發PyTorch的Facebook推出了開源社區項目Glow（Graph Lowering神經網絡編譯器），其目的是提供優化，提高一系列硬件平臺上的神經網絡性能。作為一種神經網絡編譯器，Glow基于未優化的神經網絡生成高度優化的代碼。這個特點有別于典型的神經網絡模型處理，后者采用即時編譯，因而需要更高的性能，還會增加存儲器開銷。像Glow這樣直接運行優化代碼可以顯著降低處理和存儲器要求。恩智浦也在Glow開源社區中扮演著積極角色，幫助推廣和普及Glow的新功能。

Facebook軟件工程經理Dwarak Rajagopal表示：“GitHub中提供的標準版Glow可以直接在任何設備上運行，讓用戶能夠靈活地針對感興趣的基礎架構編譯神經網絡模型，包括Arm Cortex-A和Cortex-M內核以及RISC-V架構。恩智浦使用充分利用MCU計算元件的專用軟件庫，實現了2-3倍的性能提升，展示了從基于云的高端機器到低成本的嵌入式平臺的廣泛范圍內，將Glow神經網絡編譯器用于機器學習應用的諸多優勢?！?/p>

優化機器學習框架以增強競爭優勢

未來幾年內，對機器學習應用的需求預期將會大幅增加。據TIRIAS Research預測，到2025年，98%的邊緣設備將使用某種形式的機器學習/人工智能。根據市場預測，到2025年，預計將有180億至250億部設備包含機器學習功能，盡管它們可能并沒有專用的機器學習加速器。消費型設備制造商和嵌入式物聯網開發人員將需要優化機器學習框架，以便實現使用MCU的低功耗邊緣嵌入式應用。

恩智浦半導體資深副總裁兼邊緣處理業務總經理Ron Martino表示：“借助eIQ機器學習軟件框架，利用高度集成的i.MX應用處理器和高性能i.MX RT跨界MCU的強大功能，恩智浦正在推動機器學習功能在邊緣設備上的實現。隨著i.MX RT系列跨界MCU增加對Glow的支持，我們的客戶能夠編譯深度神經網絡模型，為他們的應用帶來競爭優勢?！?/p>

恩智浦的面向機器學習的邊緣智能環境解決方案是一個全面的工具包，提供開發人員需要的構建模塊，幫助他們高效地在邊緣設備中實施機器學習。Glow整合到eIQ軟件后，機器學習開發人員將擁有全面的高性能框架，可在包括i.MX RT跨界MCU和i.MX 8應用處理器的恩智浦邊緣處理解決方案上進行擴展?？蛻魮碛辛烁鼜姶蟮墓ぞ?，能夠在i.MX RT MCU和i.MX應用處理器上開發機器學習語音應用、對象識別、人臉識別等應用。

利用恩智浦的Glow神經網絡實施來提高性能

eIQ現在包含對Glow和TensorFlow Lite的推理支持，對于這些實施，恩智浦通常會執行基準測試以衡量其性能。MCU基準測試包括標準神經網絡模型，例如CIFAR-10。以CIFAR-10模型為例，恩智浦采集的基準測試數據表明了如何利用i.MX RT1060器件（采用600MHz Arm Cortex-M7）、i.MX RT1170器件（采用1GHz Arm Cortex-M7）和i.MX RT685器件（采用600 MHz Cadence Tensilica HiFi 4 DSP）的性能優勢。

恩智浦對Glow的支持離不開Cadence為Tensilica HiFi 4 DSP提供的神經網絡庫(NNLib)，該DSP提供了4.8GMAC性能。同樣以CIFAR-10為例，恩智浦的Glow實施使用這一DSP來加快神經網絡運算，實現了25倍的性能提升。

Cadence Tensilica IP企業副總裁Sanjive Agarwala表示：“Tensilica HiFi 4 DSP最初集成在i.MX RT600跨界MCU中，目的是提高各種不同的音頻和語音處理應用的速度。但是，當有越來越多機器學習推理應用瞄準了低成本、低功耗的MCU級應用時，HiFi 4 DSP憑借固有的DSP計算性能，成為加快這些神經網絡模型的理想選擇。隨著恩智浦在eIQ機器學習軟件中實施Glow，i.MX RT600 MCU的客戶能夠利用該DSP來滿足多種機器學習應用的需求，包括關鍵詞檢索（KWS）、語音識別、降噪和異常檢測?！?/p>

Arm公司機器學習營銷副總裁Dennis Laudick表示：“恩智浦將Arm CMSIS-NN軟件庫包括在elQ中，目的是最大程度地提升性能，減少Arm Cortex-M內核上的神經網絡存儲器占用。以CIFAR-10神經網絡模型為例，恩智浦能夠利用CMSIS-NN實現1.8倍的性能提升。其他神經網絡模型應該能夠產生相似的結果，這清晰地展示了這款高級編譯器和我們的優化神經網絡算子庫的優勢?！?/p>

上市時間

恩智浦的集成Glow神經網絡編譯器的eIQ軟件現已上市，通過i.MX RT600跨界MCU、i.MX RT1050和i.MX RT1060跨界MCU的MCUXpresso SDK提供。未來將會推出適用于恩智浦其他MCU的集成Glow神經網絡編譯器的eIQ軟件。