機器學習趨向邊緣：性能與成本的平衡帶來更廣泛的應用

作者：Alexandra Dopplinger，恩智浦工業產品市場營銷經理、注冊工程師

一直以來，科幻小說和電影都將機器刻畫成擁有完全自主能力和智慧的存在，遠超普通人類。這些內容讓人倍感激動，并提出了一些具有挑戰性的問題，但是我們距離能將這些虛擬構建的內容變成能夠在真實世界中存在的機器還有多遠呢？

就像每部優秀的電影一樣，技術進步的條件也是：具有足夠的利益驅動、基礎足夠牢靠、商業案例切實可行并有優秀的人才配合實施計劃。現在，所有這些條件都已經具備，機器學習的發展勢頭也非常迅猛，已經廣泛用于各種范圍的應用，例如，語音識別和控制、人臉識別和身份識別、智能檢測和手勢控制、物體檢測和識別、異常檢測和增強現實等。

在我們深入探討之前，需要先解釋一些常見的機器學習術語。

人工智能(AI)是一個非常寬泛的概念，是指使用機器完成“智能”的事情并像人一樣能夠決策和行動。在這一領域的解決方案一直都非常專業且門檻很高。

機器學習(ML)是實施AI的眾多方法之一。這個概念是如果您向自學習機器發送大量數據，讓它們學習如何自行判斷并完成任務，而不需要針對每個行為進行明確編程。這樣的事情正在發生，并且迅速得到廣泛應用。

深度學習是實施機器學習的眾多方法之一，通常使用神經網絡(NN)完成學習階段，來自動決定最相關的數據部分，加以分析，進而推理出最合適的響應。NN技術在訓練階段需要海量數據，因此，這一方面的研究和發展還有很大的提升空間。

平衡機器學習的性能與成本

機器學習研究和開發之初使用的是全球最強大的計算機，而且許多訓練和推理仍需在云端的超級計算機和服務器區上完成。但是現在，技術已經進步到足以將機器學習從云端移動到邊緣，這樣更實用。

我們為什么要在邊緣實施機器學習？主要是為了提升用戶體驗。人們不希望設備花費太長時間來識別人臉和服從命令。如果在云端完成識別和響應，這很可能出現延遲、降低可靠性，并且更可能出現不合適的響應。

服務型機器人、無人機和自動駕駛車輛等可以移動的機器對邊緣端機器學習具有更大的需求，因為它們必須持續收集傳感器輸入、推理出設備目前的狀態并在毫秒內決策下一步行動。物理定律限制了通過無線連接到遙遠的云端服務器來進行如此密集的數據收集和實時響應。簡而言之，可以移動的自動化機器需要完全獨立、可靠的機載學習和決策制定。

許多人和機器都需要保護隱私、保護重要數據和通信內容，以防遭受黑客攻擊和復制。我們發現，防止未經授權的應用使用語音、視頻和傳感器數據的需求越來越高。顯而易見，當原始數據存放在本地邊緣機器上時，很少甚至不需要向云端傳輸數據，這樣更容易保護用戶的安全與隱私。

最后，技術成本已經降低到足夠低的水平，以便將機器學習處理應用在樓宇、家庭和車內的邊緣設備中。現有的云端帶寬、處理和存儲費用可在以后進一步降低甚至消除，這可以抵消將機器學習從云端遷移到各類型邊緣設備或傳感器節點所帶來的成本。

開啟機器學習革新

恩智浦及其和合作伙伴一直以來不斷合作，提供集成式硬件、軟件和工具，開始為實際應用開發價格合理且實用的機器學習解決方案。通過合作，我們正在構建業內最廣泛、可擴展性最高、基于Arm?技術的處理平臺，它可以允許任何開發擴展或收縮，以針對每個特定用例制定高性價比解決方案。這會使軟件和平臺得以高度再利用，并降低維護和擁有成本。

作為開展機器學習的第一步，許多NN解決方案在復雜的集中式計算平臺上建造訓練模型或推理引擎，之后還可以在邊緣端的小型設備上運行。訓練模型或推理引擎是一組數學等式，可以檢測或識別對象、語言或預期行為中的變化。TensorFlow和Caffe是使用應用編程接口(API)來解決復雜數學問題的框架示例，使在不同平臺和硬件資源類型之間遷移訓練模型和應用變得更加簡單。

下一步是從大量市面上已經存在的平臺中選擇一個并將訓練模型遷移到這個平臺。用于低帶寬傳感器輸入的機器學習通常可以由基于Arm Cortex?-M4或Cortex-M7技術的超低成本MCU（例如恩智浦的i.MX RT跨界處理器）處理。典型功能包括關鍵詞聲學檢測、特殊聲音或異常情況偵測，例如振動或環境異常變化。  對于有限數量的人或單詞，人臉和語音識別也可以使用基于Cortex-M的微控制器運行。

隨著復雜性的增加，尤其是在使用攝像頭傳感器輸入的情況下，可能會需要使用具有多核處理能力的設備，例如，具有一到四個Arm Cortex-A53內核、以及一個Cortex-M7內核的i.MX 8M Nano應用處理器，具有OpenCL功能的GPU，MIPI-CSI攝像頭輸入和許多其他集成功能。現在只需149.00美元，您就可以在https://coral.withgoogle.com上購買完整的Google Coral?開發板，用于高速和低功耗機器學習推理。通過該平臺，您能夠利用小尺寸(40 x 48 mm)量產型片上系統(SoC)快速從原型擴展到生產，該系統內置運行Linux?操作系統的i.MX 8M四核應用處理器、eMMC內存、LPDDR4 RAM、Wi-Fi?和藍牙無線電以及Google強大的Edge TPU協處理器。Edge TPU是Google設計的一款小型ASIC，可在低功耗（4 TOPS，2W）下提供高性能的機器學習推理，并能夠以高于每秒100幀的速度運行MobileNet v2等移動視覺模型。

為了獲得更高的對象識別能力，您也可以使用i.MX 8QuadMax等應用處理器，這類處理器集成了兩個Cortex-A72、四個Cortex-A53、兩個Cortex-M4內核、兩個具有OpenCL和OpenVX視覺擴展的GPU、一個DSP、最多可處理八個單通道攝像頭的八個MIPI-CSI通道以及其他多通道攝像頭組合。Basler（德國）和Congatec（德國）在i.MX 8QuadMax上展示了其組合的機器視覺和對象識別購物解決方案，并且正在遷移到i.MX 8M系列以進一步優化成本。

有了這些可供選擇的硬件解決方案后，接下來我們還需要工具來優化性能、降低系統成本、增加響應時間和準確性，以及優化每個訓練模型或推理引擎使用片上資源的方式。

機器學習軟件開發環境

隨著機器學習遷移到邊緣，最大的挑戰之一是在資源受限的設備上部署機器學習應用，尤其是已經在云中構建機器學習應用的情況下。為了直接在邊緣設備上運行，必須優化這些模型并將其與支持特定計算機硬件類型的推理引擎（即CPU、GPU、DSP或機器學習加速器）進行匹配。

Au-Zone Technologies Inc.提供了許多帶工具的機器學習演示，可以優化各種設備的解決方案。他們的DeepView?機器學習工具包和RunTime推理引擎可幫助開發人員在各種嵌入式MCU、CPU、GPU和機器學習加速器上快速設計、訓練和部署深度學習網絡。Au-Zone的智能物聯網開發套件建立在機器學習工具包的基礎上，提供一系列經過驗證的傳感器、處理器和模型組合，以支持極其快速的原型制作、定制和商業部署。

恩智浦的eIQ?機器學習軟件開發環境支持具有推理引擎、神經網絡編譯器和優化庫的機器學習算法，這些算法專門針對恩智浦MCU、i.MX RT跨界處理器和i.MX應用處理器。eIQ利用了開源技術，并且已完全集成到恩智浦MCUXpresso軟件開發套件(SDK)和Yocto開發環境中。可以處理所有機器學習軟件的依賴關系，包括將先進的機器學習技術連接到底層計算引擎所需的必要硬件抽象層，從而幫助開發者更輕松地開發完整的系統級應用。

在此視頻中，Arcturus Networks Inc.介紹了他們使用eIQ開發環境遷移ArmNN和OpenCV模型以確保公共安全的經驗。

eIQ軟件開發環境正在迅速擴展。  我們已經部署并優化了其對多種技術的支持，例如CMSIS-NN、TensorFlow、TensorFlow Lite、OpenCV和Arm NN。eIQ軟件結合示例應用進行對象檢測和語音識別，為在邊緣部署機器學習奠定了基礎。正在進行或計劃進行進一步開發以提供：

?      基于目前熱門的的神經網絡框架（例如TensorFlow、Caffe和ONNX）導入預訓練模型的準則

?      端到端示例應用演示了典型的客戶用例，例如，攝像頭推理引擎

?      支持新興的神經網絡編譯器，例如，GLOW

?      一套傳統機器學習算法，例如支持矢量機器(SVM)和隨機森林

云端解決方案

盡管在本地計算機上運行機器學習模型有明顯的好處，但是我們不能忽視由Amazon和Microsoft等領先服務供應商提供、基于云的熱門機器學習解決方案的優勢。他們提供語音、視覺和其他機器學習服務，以及強大的開發工具包，這些工具包易于使用、成本低廉且工作量最少。

Amazon的參考解決方案可以幫助您使用內置的Alexa?語音服務(AVS)來創建交互式產品。這些工具包包括芯片組、語音處理技術和客戶端軟件，經過認證可以利用在各種處理器上運行的AVS應用編程接口，可從官網訂購。

Microsoft通過由恩智浦i.MX RT106C跨界處理器支持的Azure IoT異常檢測解決方案，為Azure IoT用戶帶來了人工智能(AI)和機器學習(ML)功能。該工具箱提供一整套傳感器和相關的異常檢測工具箱，利用各種機器學習算法，如隨機森林和簡單向量機(SVM)，模擬設備的正常行為，并通過本地和云組合機制，檢測異常行為。對于旋轉組件、狀態檢測和入侵檢測的預測性維護應用等，這樣可以在保持完整的在線日志記錄和處理能力的同時大幅降低云帶寬要求。

微軟和恩智浦還宣布攜手合作，提供新的Microsoft Azure Sphere認證跨界應用處理器，以在邊緣節點處理器上無縫運行Azure Sphere安全平臺，該處理器將提供多核異構計算、豐富的圖形體驗和低功耗音頻處理能力。

恩智浦將繼續與領先的軟件和硬件公司、研究人員和分銷商合作，提供機器學習解決方案，涵蓋范圍從通用示例代碼和參考設計，到經認證的即用型專用平臺，可以讓您靈活地添加自定義功能。

技術已經準備就緒，恩智浦也已經準備就緒，助您將機器學習理念發展為現實世界中價格合理且安全的產品。