從嵌入式視覺到視覺導向機器學習的挑戰

　　今天我們討論終端的計算和嵌入式計算的時候，也需要來討論機器學習的推斷，再加上計算機視覺，還有傳感器融合和任意互聯，來實現新一代的視覺導向自主和智能系統。

機器學習概況

　　根據Moor Insight & Strategy提供的機器學習范圍圖(如圖1)，在縱軸上主要是行業領域，橫軸上主要是關于應用的位置，看它是嵌入式的應用還是更多靠近云端。但是也有一些應用是既在邊緣/終端，又在云上，也就是說它首先進行本地智能的處理，之后還要到云端進行分析，使得它的解決方案能夠更加強大。

圖1 機器學習從端到云覆蓋的視覺領域

　　關于右側列的深色應用區塊，2016年底，Xilinx推出的可重配置加速堆棧更多是關注這部分，當然也可以適用于中間一些混合解決方案。不久前Xilinx推出的reVISION堆棧，希望把它應用于左側列非常廣泛的機器學習領域，也有中間的一些少量的應用，即圖1的淺色區塊部分。可見reVISION加上可重配置加速堆棧，能夠實現從終端到云的全面覆蓋和布局，推動下一代的機器學習。

　　具體地，現在在出現這樣一種轉型，即越來越多的從圖2左邊的應用轉向右邊的應用。左邊的應用都是非常簡單的傳感器的配置，一般是各種各樣的攝像頭，并有一個非常核心的技術，也就是計算機視覺處理技術來識別整個框架環境中的物體。右邊的應用會越來越使用各種不同類型的傳感器技術，再加上圖像傳感器，還要和機器學習實現智能的融合。例如，過去在工廠里有機器人在籠子里來完成它們的工作，但是現在已經有了新一代的協作機器人，它們是與人肩并肩一起在工作，而且它們是可以移動的。同樣，在汽車ADAS(高級駕駛員輔助系統)里包含有前視攝像頭。但是現在為了要支持自動駕駛汽車的發展，攝像頭也是多種多樣，會有不同的傳感器，例如遠程雷達、中程雷達、短程雷達，還有激光雷達、毫米波雷達等不同類型的傳感器。再加上機器學習的融合，使得這些車輛在行駛時能夠做出自己的決策。所以，現在客戶更多地要求從左邊的應用轉向右邊的應用，這個過程中就出現了一個很大的轉型。

圖2 從嵌入式視覺向視覺導向的自主系統演變

　　客戶的三個主要的應用使命或要求是：1.智能性及高效的立即響應性，比如行人從車前經過。2.升級到最新算法和傳感器的靈活性。3.在一個萬物互聯的物聯網世界，還需要實現隨時與其他機器及云保持連接。

　　很多開發視覺產品的客戶通常采用傳統的RTL流程(圖3)，需要具備相應的硬件方面的專有知識。所以要真正實現非常廣泛的視覺應用，就必須要支持新的編程模式，也就是軟件定義的編程，同時還要滿足相應行業標準庫和新型的框架來支持機器學習的應用。所以，通過軟件定義的編程以及符合行業標準的庫和框架，就能夠擴展視覺導向的機器學習應用范圍。

　　reVISION堆棧包含一些基礎的平臺，可以支持算法的開發，而且它帶有非常符合行業標準的庫和元素，針對于計算機視覺以及機器學習都是非常重要的。而且，它又更進一步采用的是應用的開發商喜聞樂見的平臺。這些框架包括在機器學習領域是Caffe，在計算機視覺領域就是OpenVX(如圖3右側)。

圖3 從傳統RTL流程到一站式開發(注：此圖以Xilinx產品為例)

　　圖3縱軸上表現的是開發應用時所需要的時間和精力，橫軸上顯示的是開發這些應用所使用的方法。大約在2010年以前，Xilinx推出了新的提高產率的工具，也就是基于RTL的硬件設計的工作流程。2015年下半年，Xilinx推出軟件定義的編程環境——SDSoC，基于Xilinx的Zynq SoC芯片，主要是嵌入式的應用。通過2017年上半年推出的reVISION堆棧，開發時間可以大大壓縮。所以，傳統的模式是Xilinx提供芯片以及開發環境中20%的解決方案，剩下的80%要由客戶來完成。但是有了reVISION堆棧以后，Xilinx能夠完成解決方案當中80%的工作，剩下的客戶只要完成20%，就可以實現其應用。

　　經Xilinx測算，相比同類產品(諸如英偉達的Tegra和典型SoC)，Xilinx reVISION將機器學習推斷的單位功耗圖像捕獲速度提升了6倍，將計算機視覺處理的單位功耗幀速度提升了42倍。在實時快速響應的系統當中，更重要的一個參數是時延，Xilinx在時延方面只有同類產品的1/5。

軟硬件的可重配置性和可編程性

　　圖4顯示的是不同類別的傳感器演進的過程，如果Xilinx看一下這些視覺導向應用，比如圖像，Xilinx可以看到在傳感器的類型和配置方面是出現了一個爆炸，這種情況Xilinx把它稱作傳感器的融合。Xilinx可以看到是人工智能和機器學習的不斷擴展驅動了這種傳感器融合的趨勢，所以也需要可重配置性來跟上這些變化的步伐。

圖4 神經網絡演進速度

　　如果把所有這些元素都放在圖5里。縱軸體現的是系統的響應時間，橫軸體現的是系統可重新配置的能力來適應新的神經網絡、算法和傳感器。為了做到全面完整，在這里也包含了CPU和大型的GPU。這些器件在推斷方面表現是非常優異的，但是在時延方面就不是那么理想，但是由于它們精度非常高，所以它們非常適用于在一些數據中心的研發方面的訓練，所以它們響應的時間方面是非常低的，但是因為它們需要固定的硬件，它們的可重配置性方面也很低。而reVISION具有很強的可重配置性和可編程性。

圖5 傳感器的演進趨勢