嵌入式AI需要什么樣的解決方案

近年來，AI在邊緣端的應用已成為不可阻擋的趨勢，嵌入式AI指的就是這種在邊緣端即可高效處理各種深度學習神經網絡的應用加速模式。嵌入式AI能夠讓產品在設備層即可發揮智能化的檢測、識別、分類等功能，因此成為智能產品開發或產業升級換代的熱點。

然而，嵌入式AI不僅涉及軟件層面的算法設計，工具設計，也涉及硬件層面的芯片設計等一系列集成問題，因此也是一個門檻和復雜度極高的領域。

郭冰清，Xilinx軟件與AI市場部門，AI產品市場經理

嵌入式AI/ML的主要應用市場及趨勢

ADAS 和自動駕駛、智慧城市、智慧醫療和工業視覺應用，是嵌入式 AI 應用的典型場景，也是賽靈思 一直專注的市場領域。

汽車領域

在汽車領域，賽靈思主要關注前視、后視、環視、盲區檢測、自動泊車、智能座艙及、傳感器融合和域控等覆蓋從L2到L5級別的ADAS及自動駕駛。我們知道，汽車是一個特殊的場景，它對整個ADAS或自動駕駛系統的實時性和正確性有極高的要求，這就需要嵌入式芯片同時具備卓越的AI加速能力、靈活應變的芯片架構，還需要滿足行業最高的可靠性測試標準。賽靈思在今年6月份推出的7nm VersalTM AI Edge 系列，和當前ZynqTM UltraScale+ MPSoC系列，都涵蓋了汽車等級，并提供行業領先的AI算力及靈活性。

值得一提的是，為了保證車輛行駛中決策和控制的快速性及正確性，多傳感器融合是一個必然的趨勢。如今，汽車搭載了越來越多的傳感器，如攝像頭、雷達、激光雷達、毫米波雷達、超聲波等，賽靈思也為這種多傳感器架構帶來了巨大價值。賽靈思產品一方面能夠增強高級信號處理、點云預處理，另一方面，通過Vitis AI還可以實現點云機器學習加速、Image-Lidar融合算法加速、4D 雷達機器學習加速等；這些在汽車多傳感器方案，甚至5G結合AI的車路協同中都扮演重要的角色。

智慧城市領域

賽靈思產品在智慧城市領域已有廣泛的應用，如智慧交通、智慧零售、智慧樓宇等。賽靈思產品除了本身具備靈活的I/O，支持MIPI、LVDS和多種傳感器接口、靈活的ISP支持策略、H264/H265視頻編解碼處理單元等能力以外，還具備強大的實時AI處理能力。

今年4月，賽靈思面向邊緣計算推出了基于Zynq UltraScale+ MPSoC的Kria K26 SOM卡和KV260視覺開發套件。同樣得益于VitisTM AI所帶來的AI性能加速，用戶能夠在這塊邊緣設備上實現多路、最高分辨率達4k、60幀的實時人臉檢測、ID跟蹤等功能；此外，Kria SoM也完全兼容賽靈思開放式AI模型庫，用戶可以從中選取模型任意切換或重新訓練部署，總之，Kria SoM非常適合智能相機、嵌入式視覺及其它安全、零售分析、智慧城市和機器視覺應用的生產和原型開發。

醫療及工業視覺領域

醫療及工業視覺領域也是賽靈思嵌入式AI落地的重要場景。在醫療領域，我們可以提供基于深度學習的醫療影像分析或超分辨率增強，用AI為醫護人員在內窺鏡、超聲、核磁、X光檢測等場景提供更準確的判斷。自2019年新冠病毒蔓延以來，賽靈思及業內合作伙伴Spline.ai利用Vitis AI，將集成了深度學習處理單元DPU的MPSoC邊緣器件和AWS物聯網服務結合，針對肺部感染及新冠病毒預測系統開發了可擴展的智能解決方案。

工業視覺領域

在工業視覺領域，賽靈思產品也在智慧工廠、智能工業相機、視覺控制及機器人等方面發揮重要的影響力，AI的作用主要體現在缺陷檢測、文字識別、實時分析等機器學習支持的預測性維護控制、遠程診斷等嵌入式端上智能化。

嵌入式AI場景落地的挑戰及解決方案

在嵌入式AI產品落地的過程中，開發者遇到的挑戰主要是：

●   首先，該方案是否靈活可擴展，能夠適配不同產品規模或自定義模塊？

●   其次，對于缺乏FPGA開發經驗的用戶，是否有簡單易用的AI開發工具以降低開發難度？

●   第三，如何突破瓶頸，在算力有限的邊緣端實現AI加速性能的最大化？

為了應對這些挑戰，賽靈思在2020年初正式推出了Vitis AI解決方案，它是一套面向Xilinx Zynq SoC，Zynq MPSoC，Alveo及Versal ACAP的AI開發平臺，它能夠為用戶帶來最強大的機器學習加速性能，這主要通過方案中的神經網絡加速引擎DPU、一系列自動化軟件工具（定點器、編譯器、優化器）和AI運行時及加速庫來實現。

與傳統的基于硬件RTL語言開發AI加速IP方案的最大不同在于，Vitis AI向用戶提供一個通用的且可配置的神經網絡加速引擎DPU，在ZU+及Versal平臺上用戶可以根據實際的邏輯資源選擇最佳的DPU配置，最大處理效率超過80%；同時，在最新的Vitis AI方案中，用戶可以通過調用Graph Runner API實現在DPU和CPU上對自定義算子的流暢部署，這也保證了開發者可以在不同大小的器件、不同模型之間靈活切換。

其次，Vitis AI可以支持主流的機器學習框架，如Pytorch，Tensorflow和Caffe；在開放模型庫AI Model Zoo中涵蓋了上百個經過充分優化、驗證及硬件部署的模型文件，其中不乏業界最先進的3D目標檢測算法、多任務學習算法、超分辨率增強算法，或時下流行的Yolo、Mobilenet、RefineDet、ResNet系列，用戶可以免費下載或基于不同場景數據集的重新訓練。

此外，針對嵌入式AI的部署環節，賽靈思也做了專門的軟件加速優化，除了用自動化的定點器和編譯器將模型轉化為可部署形式外，用戶還可以直接調用相應的軟件加速庫AI Library，無需額外開發模型的前后處理模塊，從而實現在FPGA和ACAP上的快速部署。

最后，為了幫助客戶實現邊緣端的性能突破，賽靈思在基于Vitis軟件開發環境中，集成了大量經過底層優化的加速庫，通過C++、OpenCL library的方式提供給用戶，所以除了DPU對AI部分的加速以外，我們對端到端的前處理、后處理的全流程都可以加速，這樣即可實現邊緣端上的最大化性能。

賽靈思是深耕嵌入式領域數十年的可編程邏輯器件主要供應商，公司 轉型后成為基于FPGA 器件的自適應計算平臺供應商。幾年前通過新一代自適應計算架構 ACAP 的推出，以及人工智能科技公司深鑒科技的收購，在嵌入式AI  領域日益扮演重要角色。尤其是隨著Vitis AI 的 推出，讓高性能、靈活應變的賽靈思自適應計算平臺，從來沒有像今天這樣與開發者和科學家們如此開始友好，不需要硬件設計知識，也不需要耗費精力在硬件平臺，就能快速將自己的嵌入式創意變成現實。我們希望攜手越來越多的開發者，將各種各樣的創新產品推向市場。