機器學習成為主流——恩智浦eIQ?軟件開發環境更智能、更友好

自物聯網（IoT）問世以來出現了多項頗具顛覆性的創新，邊緣智能便是其中之一。物聯網帶來了數十億智能互聯設備，這些設備傳輸TB級海量傳感器數據，用于執行基于人工智能的云計算。除此之外，另一項革命正在進行：邊緣設備上的機器學習（ML）。隨著越來越多的智能設備遷移到網絡邊緣，恩智浦緊跟趨勢，提供成本、性能和功率優越的處理解決方案，在多個市場和應用推動機器學習技術，讓最終用戶享受到更強安全性、更高隱私性、更少延遲等優勢。

以前，機器學習、深度學習和神經網絡應用一直是數據科學家和人工智能專家的專屬領域。但是，越來越多的機器學習工具和技術問世，消除了機器學習應用開發方面的一些復雜性，這種情況逐漸改變。恩智浦的eIQ（“邊緣智能”）機器學習開發環境就是一個很好的例子。eIQ提供一套全面的工作流程工具、推理引擎、神經網絡（NN）編譯器，以及經過優化的庫和技術，幫助簡化并加快機器學習開發。從剛開始第一個深度學習項目的嵌入式開發人員，到專注研究高級目標識別、分類、異常檢測或語音識別解決方案的專家，各種技能水平的用戶都可以使用eIQ。

eIQ機器學習軟件于2018年推出，經過不斷開發，可支持系統級應用和機器學習算法實現，適用于恩智浦i.MX系列從低功耗i.MX RT跨界微控制器（MCU），到基于Arm^? Cortex^?-M和Cortex^?-A內核的多核i.MX 8和i.MX 8M應用處理器。

今日重大更新

為幫助機器學習開發人員更熟練高效地運用恩智浦i.MX 8處理平臺，我們大力擴展了eIQ軟件環境，添加了全新eIQ Toolkit工作流程工具、基于GUI的eIQ門戶開發環境，以及針對i.MX和i.MX RT設備進行優化的DeepViewRT?推理引擎。

圖1 eIQ Toolkit和eIQ門戶特性與工作流程的簡要展示

下面詳細介紹eIQ軟件環境中，這些強大的新增工具如何幫助簡化機器學習開發，提高工作效率并為開發人員提供更多選項和更大的靈活性。

eIQ Toolkit：實現“機器學習人人可用”

考慮到機器學習、神經網絡和深度學習應用的潛在復雜性以及機器學習開發人員的不同需求，簡單的“萬能”工具并不能實現“人人可用”。更好的方法是提供靈活的綜合工具套件，該套件應該能夠擴展，以滿足不同技能水平和經驗水平的機器學習開發人員。為此，我們在eIQ機器學習開發環境中添加了強大而易用的eIQ Toolkit，使開發人員能夠導入數據集和模型，并跨恩智浦i.MX 8M應用處理器系列和i.MX RT跨界MCU產品組合進行訓練、量化、驗證和部署神經網絡模型與機器學習工作負載。無論您是剛剛開始第一個機器學習項目的嵌入式開發人員，還是熟練的數據科學家或人工智能專家，都能在該工具套件中找到與您的技能水平相對應的功能，來幫助簡化機器學習項目。

圖2 eIQ門戶提供數據集管理工具，幫助您注釋并整理所有訓練數據

eIQ Toolkit提供簡單的工作流程和機器學習應用示例。此外，該工具套件在eIQ門戶中提供一個基于GUI直觀開發選項，您也可以根據自己的喜好選擇使用命令行主機工具。如果您想要使用現成的開發解決方案，或是需要恩智浦及我們值得信賴的合作伙伴提供的專業服務與支持，您可以通過該工具套件在eIQ市場中輕松訪問Au-Zone Technologies等公司提供的選項列表，該列表將不斷更新。

圖3 eIQ門戶提供便捷的模型驗證和精度測量方法

通過eIQ門戶，您可以輕松創建、優化、調試、轉換并導出機器學習模型，也可以從TensorFlow、ONNX和PyTorch機器學習框架中導入數據集和模型。您可以通過“自帶數據” （BYOD）流程，使用自己的數據訓練模型，從預訓練模型數據庫中選擇模型，或通過“自帶模型”（BYOM）流程導入預訓練模型，例如來自Au-Zone Technologies的高級檢測模型。通過遵循簡單的BYOM流程，您可以使用基于公共云或私有云的工具構建經過訓練的模型，然后將模型傳輸到eIQ Toolkit中，以便在適當的芯片優化推理引擎上運行。

圖4 eIQ門戶提供靈活的BYOM和BYOD方法

針對目標的圖形級別分析功能讓開發人員能夠在運行時深入了解運行情況，以便微調和優化系統參數、運行時性能、內存使用和在i.MX設備上執行的神經網絡架構。

最新eIQ推理引擎，實現恩智浦提速發展

推理引擎是機器學習開發項目的核心，也是機器學習應用的運行時組件。eIQ機器學習軟件開發環境支持使用針對Glow、ONNX和TensorFlow Lite等i.MX設備和MCU進行優化的各種基于社區的開源推理引擎進行推理，除此之外，我們還為其添加了DeepViewRT推理引擎。

DeepViewRT是恩智浦與合作伙伴Au-Zone Technologies聯合開發的專有推理引擎，該引擎提供了長期穩定的解決方案，由供應商進行維護，用于補充基于社區的開源引擎。

圖5 DeepViewRT為機器學習應用提供穩定靈活的生產就緒型推理引擎

在恩智浦MCUXpresso SDK和Yocto BSP版本中，DeepViewRT推理引擎可作為基于Linux?操作系統的開發的中間件。

關于eIQ的更多優勢

eIQ機器學習開發環境及所有必要的基準支持，包括全新eIQ Toolkit、eIQ門戶和通過DeepViewRT實現的eIQ推理，均無許可費。

在恩智浦機器學習/人工智能培訓學院磨練技能

恩智浦的機器學習/人工智能培訓學院針對與機器學習開發相關的各個主題提供自主學習模塊，并提供有關結合使用eIQ工具與恩智浦i.MX和i.MX RT設備的最佳實踐。機器學習/人工智能培訓學院面向所有恩智浦客戶開放，提供一系列不斷擴展的培訓模塊，幫助您開始進行機器學習應用開發。當前的Yocto Linux版本支持eIQ機器學習軟件，包括適用于i.MX應用處理器的DeepView RT推理引擎。適用于i.MX RT跨界MCU的eIQ機器學習軟件已完成集成到恩智浦的MCUXpresso SDK版本中。

作者：

Ali Ors

恩智浦半導體邊緣處理部門人工智能機器學習戰略技術總監

Ali在半導體行業擁有超過23年的經驗，擅長領導跨職能團隊來打造機器學習和視覺處理領域的創新產品和平臺。他目前主要負責全球人工智能機器學習戰略。