Xilinx AI 加速+阿里云 FaaS：開啟云端 AI 推斷巨大機遇
加入技術交流群
中國是全球最大的在線零售市場，而阿里巴巴則是中國最大的電子商務公司。作為阿里巴巴集團旗下的云計算和數據智能部門，阿里云為國際客戶的在線業務及阿里巴巴集團自身的電子商務生態系統提供綜合全面的成套全球云計算服務。在公有云服務提供商市場上，阿里云的市場份額位居亞太地區首位。
本文引用地址：http://www.104case.com/article/202003/411069.htm阿里云的業務之一是為眾多第三方廠商處理海量產品圖像。由于一些圖像內含有未付費廣告等多余文本信息，給付費廣告業務造成不利影響，因此，為了確保電子商務網站提供一致的體驗，需要以 AI 推斷對每天數千萬幅圖像中嵌入的有害文本或多余文本進行檢測，隨之而來的是巨大的 AI 推斷計算工作負載以及高昂的運營成本。
借助 ML 框架在賽靈思 FPGA 上直接加速 Yolo-v2
阿里巴巴過去使用 GPU 運行 Yolo-v2 Tiny（數據類型為 Float32），通過這種方法掌握每日千萬級的圖像內容。由于該架構未經充分優化，GPU 只能實現有限的每秒查詢次數 (QPS) 吞吐量，導致用電成本高、服務器空間占用大。為了降低運營費用，阿里巴巴尋求比 GPU 成本更低的解決方案來檢測有害或多余的文本信息。
依托于賽靈思 16nm Virtex UltraScale+? FPGA 的高度自適應架構，阿里云 FaaS 團隊在 Int16 上運行 Yolo-v2 Tiny 模型，在媲美 GPU 精度的前提下實現一流的 QPS 性能。單片賽靈思 UltraScale+ FPGA 每秒能處理數百幅圖片，與最初的 GPU 實現方案相比性能提高 3.5 倍。在 FaaS 的啟發下，雖然GPU通過完成類似優化也可以達到類似性能，但賽靈思解決方案的單幅圖像成本更低。除此之外，賽靈思 Vitis AI 在加快開發速度方面也有著上佳表現。
在不降低精度的前提下節省 75% 總擁有成本
Vitis AI 支持開發者在無需編寫任何 RTL 代碼的情況下，優化 DNN 模型并將預訓練的 DNN 模型部署到賽靈思 FPGA 中。其運行時及外殼程序讓開發者無需成為 FPGA 專家就能夠充分從賽靈思硬件加速中獲益。
阿里巴巴云和智能FPGA異構計算負責人張振祥負責領導該項目并成功在 F3 實例上實施了 AI 加速。
阿里云 FaaS 在云端提供統一的硬件平臺與中間件。在賽靈思 Vitis AI 的支持下，阿里云 FaaS 能夠大幅降低 AI 加速器的開發成本與部署成本。加速器廠商可以將加速器以服務形式提供給用戶，克服加速技術的硬件壁壘。用戶可以按需使用加速服務，不必理解底層硬件詳情。借助 Vitis AI，阿里巴巴和賽靈思聯合開發 AI 加速解決方案的最大優勢在于，阿里巴巴不需要任何人成為使用 FPGA 技術的專家。
此外，張振祥還指出：“起初，很多人對于將 FPGA 用于 AI 領域的前景并不看好，因為 GPU 使用方便且支持所有框架。但是，阿里云與賽靈思合作充分證明了其實 FPGA 更適合該領域中的特定場景。”
▅ 賽靈思 Vitis AI 堆棧
FPGA 更適合！
FPGA 更適合某些領域中的特定場景，尤其是在云 AI 推斷方面有顯著的成本優勢。例如：
○ 云端外殼程序使開發工作大幅簡化；
○ 小寬度及修剪所需成本及功耗大幅降低；
○ 圖像銳化及 FFT 過濾器等 IP 會為部分創新應用創造額外價值。
通過 FaaS 平臺，加上大量的 ISV 及獨立的 IP 開發商，FPGA 會在云端 AI 推斷領域迎來大量機遇。
阿里巴巴云和智能FPGA異構計算負責人：張振祥
點擊了解 FPGA 實例概述。
賽靈思官方微信號：xilinx_inc
評論