邊緣視覺 AI 的理想平臺

易于使用

賽靈思通過開發下文提及的各種工具、庫、框架和參考示例，為方便應用做了大量工作。

它們大幅簡化了軟件開發者在賽靈思平臺上的應用開發工作。

Vitis AI 開發套件

Vitis? AI 開發環境由在賽靈思硬件平臺上實現 AI 推斷的 Vitis AI 開發套件構成，支持賽靈思 SoC、Alveo? 加速器卡以及現在的 Kria SOM。它的組成包括經優化的工具、庫和預訓練模型，為開發者部署定制模型鋪平了道路。它在設計時就充分考慮到高效率和易用性，在賽靈思器件上釋放 AI 加速的全部潛力。Vitis AI 開發環境方便不具備 FPGA 知識的用戶在 Kria SOM 上部署深度學習模型，抽象底層芯片器件的復雜構成。詳見 Vitis AI 用戶指南[參考資料 14]。

此外，Vitis AI與 Apache 開源 TVM 項目集成[參考資料 15]，進一步增加了在賽靈思平臺上部署模型的機會。TVM 依托開源社區和各類大型商業用戶提供的輸入，提供多樣化、緊跟時代潮流的、可擴展的機器學習框架支持。TVM 自動運行圖形分割和圖形編譯，基本上確保能夠部署來自任何框架的網絡運算符，即使該運算符并非原生地受到 Vitis AI 開發環境的支持。事實上，在 TVM 環境中任何運算符都能編譯到 x86 和 Arm?目標器件上。這意味著開發者可以迅速地部署自己的模型，在賽靈思 DPU 上為 Vitis AI 開發環境支持的子圖加速，同時在 CPU 上部署圖形的其余部分[參考資料 16]。

PetaLinux SDK

PetaLinux是一種針對賽靈思 SoC 的嵌入式 Linux 軟件開發套件 (SDK)。PetaLinux 基于 Yocto，是一種為構建、開發、測試和部署嵌入式 Linux 系統提供一切必要內容的賽靈思開發工具。

PetaLinux 工具包含：

●   Yocto 可擴展 SDK (eSDK)

●   賽靈思軟件命令行工具 (XSCT) 和工具鏈

●   PetaLinux CLI 工具

Vitis 視覺庫

Vitis 視覺庫使用戶能在賽靈思平臺上開發和部署加速計算機視覺和圖像處理應用，同時在應用層面操作。這些開源的庫功能提供了基于 OpenCV 的熟悉界面，但專為賽靈思平臺的高性能和低資源耗用進行了優化。此外，它們也提供了靈活性，可以滿足用戶視覺系統的自適應吞吐量需求。表 5 列出的是在賽靈思平臺已經預加速的一些主要功能。完整列表請訪問 Xilinx.com 上的 Vitis 庫登錄頁面[參考資料 17]。

表5 賽靈思平臺上的加速功能

視頻分析  SDK

視頻分析 SDK 是一種構建在開源且被廣泛采用的 GStreamer 框架上的應用框架。這種SDK 設計上支持跨所有賽靈思平臺的無縫開發，包括賽靈思 FPGA、SoC、Alveo 卡，當然還有 Kria SOM。使用這個 SDK，開發者無需深入掌握 FPGA 復雜的底層技術，就能裝配視覺分析和視頻分析流水線。此外，該 SDK 提供的 API 讓用戶能夠快速開發以 GStreamer 插件形式存在，能集成到 SDK 框架的高效的定制加速內核。無論是否使用定制加速內核，一般的嵌入式開發者都能簡便輕松地裝配定制加速流水線。

加速應用

加速應用是 Kria SOM 解決方案的基本構建塊。這些應用是完整、可量產的端到端解決方案，專門支持常見的視覺用例。賽靈思加速應用在可編程邏輯區域包含一個預優化的視覺流水線加速器。開發者可按原狀使用，也可以進一步優化，滿足應用的特定需求。借助具有高可靠性的軟件協議棧，只修改固件或者倒換 AI 模型，用戶就能輕松地定制和增強解決方案功能。此外，通過新推出的 Kria 賽靈思應用商店，開發者能通過 Uncanny Vision 等領域專業廠商，了解、評估或購買業界領先的應用。

結論

本白皮書首先對賽靈思最新推出的 Kria K26 SOM 與英偉達 Jetson Nano 和英偉達 Jetson TX2 進行了詳細的特性比較。然后在 K26 SOM 的兩種 DPU 配置 B3136 和 B4096 上，比較了一些行業領先的模型的性能，如 Tiny Yolo V3、SSD_Mobilenet_V1、ResNet50 等。

隨后又將比較結果與英偉達網站上公布的基準測試數值進行比較。得到的結論是 K26 SOM 在性能上同時優于 Jetson Nano 器件和 Jetson TX2 器件。Kria SOM 不僅吞吐量大幅增加（比 Jetson Nano 高 4 倍），而且在單位功耗性能上也有顯著優勢（比 Jetson TX2 高 2 倍）。

分析進一步展開，開始比較自動檢測和識別汽車車牌的實際應用的性能。K26 SOM 在實際應用下的性能極其優異，提供了顯著的性能優勢。K26 SOM 的底層硬件功能強大，有助于在降低時延和減少功耗的情況下為完整的應用提速。對于 ANPR 應用，K26 SOM 性能優于 Jetson Nano 四倍，而且憑借更高的吞吐量，用戶能夠在每個器件上處理更多流，從而降低了總體擁有成本。擁有更高吞吐量、更低時延、更小功耗等優勢，同時能夠為滿足未來需求提供靈活性和可擴展能力，Kria K26 SOM 是在邊緣設備上實現基于視覺 AI 的應用的理想選擇。

參考資料

1.Krizhevsky, Alex, 2012, "ImageNet Classification with Deep Convolutional Neural Networks," https://papers.nips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

2.Ke, Haiming, 2015, "Deep Residual Learning for Image Recognition," https://arxiv.org/pdf/1512.03385.pdf

3.Dialani, Priya, 2019, “Computer Vision:The future of artificial intelligence,”

https://www.analyticsinsight.net/computer-vision-the-future-of-artificial-intelligence/

4.Howard, Andrew, 2017, "MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Applications," https://arxiv.org/pdf/1704.04861.pdf

5.Yao, Song et al., Hotchips Symposium 2018, Session 8, "The Evolution of Accelerators upon Deep Learning Algorithms," https://www.youtube.com/watch?v=zbtZ-rALqF4

6.Xilinx White Paper, WP528, “Achieving Embedded Design Simplicity with Kria SOMs,”

https://www.xilinx.com/products/som/achieving-embedded-design-simplicity-with-kria- soms.html

7.Xilinx User Guide, UG1089, Kria KV260 Vision AI Starter Kit User Guide:

https://www.xilinx.com/cgi-bin/rdoc?t=som-doc;v=latest;d=ug1089-kv260-starter-kit.pdf

8.Nvidia Website:https://developer.nvidia.com/EMBEDDED/Jetson-modules

9.Horowitz, Mark, ISSCC Presentation, 2014:“Computing’s Energy Problem and What We Can Do About It,” https://vimeo.com/99757212

10.Nvidia Website:https://developer.nvidia.com/embedded/jetson-benchmarks

11.Nvidia Website:https://forums.developer.nvidia.com/t/how-to-use-int8-inference-with- jetsontx2-tensorrt-2-1-2/54890

12.Clark, Alvin, “Xilinx Machine Learning Strategies For Edge”, 2018.https://www.xilinx.com/publications/events/machine-learning-

live/sandiego/xilinx_machine_learning_strategies_for_edge.pdf

13.Nvidia Website:"License Plate Recognition" by Nvidia's Deepstream-SDK:https://developer.nvidia.com/deepstream-sdk

14.Xilinx User Guide, UG1414 Vitis AI User Guide:https://www.xilinx.com/cgi- bin/docs/rdoc?t=vitis_ai;v=1.3;d=ug1414-vitis-ai.pdf

15.Apache TVM website, https://tvm.apache.org/

16.Xilinx TVM webinar,

https://event.on24.com/eventRegistration/EventLobbyServlet?target=reg20.jsp&partnerref=E DM1&eventid=2746831&sessionid=1&key=597DBD491AEF87E1AB3FBAA582A3EAEE&regTag

=&sourcepage=register

17.Xilinx Website:https://www.xilinx.com/products/design-tools/vitis/vitis-libraries/vitis- vision.html

補充閱讀

1.Xilinx White Paper, Cathal Murphy and Yao Fu, WP492, “Xilinx All Programmable Devices:A Superior Platform for Compute-Intensive Systems”.June 13, 2017.

https://www.xilinx.com/support/documentation/white_papers/wp492-compute-intensive- sys.pdf

2.Jason Cong, Zhenman Fang, Michael Lo, Hanrui Wang, Jingxian Xu, Shaochong Zhang, Center      for Domain-Specific Computing, UCLA, “Understanding Performance Differences of FPGAs and GPUs.” https://vast.cs.ucla.edu/sites/default/files/publications/FCCM2018-paper120-final.pdf

3.Gordon Cooper, “New Vision Technologies For Real-World Applications”, 3 Oct 2019.https://semiengineering.com/new-vision-technologies-for-real-world-applications/

4.Xilinx White Paper, “FPGAs in the Emerging DNN Inference Landscape”, 28 Oct, 2019.

https://www.xilinx.com/support/documentation/white_papers/wp514-emerging-dnn.pdf

5.Linus Pettersson, “Convolutional Neural Networks on FPGA and GPU on the Edge:A Comparison”, Jun 2020.

https://www.diva-portal.org/smash/get/diva2:1447576/FULLTEXT01.pdf

6.Alvin Clark, “Xilinx Machine Learning Strategies For Edge”, 2018.

https://www.xilinx.com/publications/events/machine-learning-live/san- diego/xilinx_machine_learning_strategies_for_edge.pdf

7.Ihwoo, “Nvidia Jetson Nano / Xavier power monitoring”, Jul, 2020.

https://inaj012.medium.com/nvidia-jetson-nano-xavier-power-monitoring-62d374e9dc81

8.Intel, “FPGA chips are coming on fast in the race to accelerate AI”, 10 Dec, 2020.

https://venturebeat.com/2020/12/10/fpga-chips-are-coming-on-fast-in-the-race-to- accelerate-ai/

9.Mehul Ved, “Artificial Intelligence (AI) Solutions on Edge Devices”, 8 May 2019.https://stratahive.com/artificial-intelligence-ai-solutions-on-edge-devices/

10.Hewelett Packard Enterprise, “7 Reasons Why We Need to Compute at the Edge”.

https://www.hpe.com/us/en/newsroom/blog-post/2017/03/7-reasons-why-we-need-to- compute-at-the-edge.html

11.https://github.com/jkjung-avt/tensorrt_demos

12.https://github.com/NVIDIA-AI-IOT/deepstream_reference_apps/tree/restructure/yolo#trt- yolo-app

13.https://elinux.org/Jetson_Zoo

鳴謝

下列賽靈思員工參加了本白皮書的寫作或為本白皮書的成文做出了貢獻：Jasvinder Khurana，員工系統設計工程師

Quenton Hall，AI 系統架構師

Girish Malipeddi，營銷、多媒體和電路板解決方案總監

修訂歷史

下表列出了本文檔的修訂歷史。