神經網絡協同處理器降低視覺處理功耗

　　嵌入式視覺（EV）系統的成長正推動對于更高性能與節能的視覺處理能力需求。包括AMD、CEVA、Imagination、英特爾（Intel）、Nvidia以及ARM的授權客戶等業界多家公司均積極因應這一成長中的趨勢，利用FPGA、FPGA/MPU組合、GPU與專用異質多核心等各種不同的硬體，為設計任務實現最佳化。

　　新思科技（Synopsys Inc.）日前發布另一種解決方案——DesignWare EV處理器核心（IP）系列，專為整合于具有多顆CPU的SoC而設計，無論是采用來自ARM、英特爾、Imagination MIPS或PowerPC等其他CPU均可相容。

　　該IP核心系列目前包括EV52與EV54兩款可為視覺運算應用最佳化的產品，采用28nm制程制造。EV52搭載基于該公司ARC指令集的雙核心 RISC處理器，以高達1GHz的頻率作業;而EV54則采用四核心建置，提供較EV52更高的性能。兩款產品均內建2-8個可編程配置的物件偵測引擎處理單元（PE）。

　　Synopsys的視覺處理器結合基于ARC的RISC核心，以及卷積神經網路偵測引擎處理單元。

　　EV52和EV54處理器利用‘卷積神經網路’（CNN）演算法——從人腦處理視覺資訊方式取得靈感，為視覺運算應用實現最佳化。CNN利用前饋人工神經網路，其中，個別神經元以一種反應視線內重疊區域的方式拼接排列。這種重疊是人眼得以追蹤動作、辨識環境變化、區別不同物體以及反應臉部表情細微變化的重要關鍵。

　　Synopsys DesignWare ARC處理器資深產品行銷經理Mike Thompson介紹：“該EV處理器系列是專為以1，000GOPS/W的性能執行CNN計算而設計的，它僅需使用約競爭視覺方案一小部份的功耗，即可為一系列廣泛的物件應用實現更迅速與準確的偵測。”

　　Thompson指出，“雖然有多種視覺辨識演算法競相爭寵，我們一直認為CNN具有最重大進展，而且也是目前我們看到在目標應用中最佳的物件辨識方案，可作為相機、可穿戴式裝置、家庭自動化、DTV、虛擬實境、游戲、機器人、數位看板、醫療與車載資訊娛樂系統等目標應用的理想選擇。”

　　Synopsys目前正與嵌入式視覺市場中的多家廠商合作，包括Nvidia、CEVA、微軟（Microsoft）等。然而，雖然透過CNN能夠取得超過95%的準確結果，但問題仍取決于如何在市場可接受的功耗/性能范圍內達到這樣的準確度。

　　Thompson表示，通用處理器（GPP）雖可用于視覺處理，但由于缺乏先進的數學運算資源而使其速度過于緩慢;繪圖處理器（GPU）雖然有必要的數學運算資源，但卻缺少有效移動視覺資料的能力，使其視覺性能相對較低而功耗相對較高。

　　“我們提出的協同處理器策略將有助于使CNN成本降低到可負擔的范圍，以及可應用在消費產品的功耗水平。”Thompson以一系列典型物件偵測與手勢辦識應用的比較為例表示，EV處理器執行視覺任務的功耗大約比其他視覺解決方案的功耗更低5倍。采用內建EV處理器的SoC以每秒30格的視訊處理速率執行一項臉部偵測任務時，大約僅需175mW的功耗。相形之下，如果采用GPU來執行相同任務的話，至少需要更高8-10倍的功耗。

　　以每瓦數十億次作業為衡量基準，EV處理器（最右）的執行效率超越了其他視覺方案的物件偵測與分析能力。

　　嵌入式視覺導入CNN演算法

　　為了將1或多個EV處理器整合于SoC，Synopsys利用與主處理器平行/同步作業的方式——透過復雜和高效的訊息傳送設定以及中斷機制，讓不同卷積物件偵測引擎處理單元與其他處理器核心之間實現通訊（圖3）。ARC EV處理器可經由編程實現自動化作業，或者，當應用必須符合特定的功耗/性能限制時，開發人員也可以選擇盡量在EV處理器與主處理器之間實現最多的控制與功能共享。

　　EV處理器的核心是物件偵測引擎，其中包含2-8顆專用的處理單元。

　　Thompson說：“PE的數量是由用戶在建構設計時所配置的，就像在PE之間的串流互連網路一樣——在所有的PE之間配置靈活的點對點互連。取決于物件偵測引擎上的CNN繪圖執行情況，每個點或連線均可動態改變。”

　　該架構的建置在于讓EV處理器記憶體映射可完全由主處理器進行存取，這將能夠讓主處理器一方面持續進行控制，同時讓所有的視覺處理任務卸載至EV單元，主處理器與EV處理器二者均可降低功耗，并加速關鍵的視覺任務進行。

　　此外，Thompson強調，這種方法還可讓各種不同的視覺處理單元都能與主處理器即時通訊。為了讓EV之間以及與主處理器之間的通訊更有效率，每個EV 處理器都能存取儲存于SoC記憶體映射區的影像，或是在需要時透過內建的AMBA AXI標準系統介面存取晶片外接記憶體資源。

　　為CNN開發提供軟體套件

　　Thompson指出，由于CNN存在一定的復雜度，就算采用了EV硬體，為特定視覺處理應用推出適合的演算法組合仍然是一項困難的任務。為了協助開發商減輕一些責任，Synopsys提供了一套完整的工具庫與參考設計，讓開發人員能更有效率地建構、除錯、配置，以及利用業界標準且開放源碼的嵌入式視覺工具鏈OpenCV和OpenVX，為其嵌入式視覺系統實現最佳化。

　　該最佳化的工具套件內含ARC EV處理器，以及超過2，500項OpenCV功能，可實現即時電腦視覺。此外，該工具套件還提供具有43種標準電腦視覺核心的OpenVX架構，可實現邊緣偵測、建立影像金字塔以及光流評估，這些功能均已為執行于EV處理器實現最佳化。

　　Thompson還表示，由于EV處理器是可編程的，因而可加以訓練用于支援任何物件檢測圖，以及導入新的OpenVX核心定義。一次OpenVX的運行時間可將排列的核心執行分配在EV處理器的多個執行單元上，從而簡化了該處理器的編程。

　　在用于設計EV核心時，可透過ARChitect工具發表與配置ARC EV處理器。該工具合成了可整合于任何SoC設計的RTL，以支援任何主處理器，包括ARM、英特爾、Imagination MIPS與PowerPC等。為了進一步加速軟體開發，虛擬原型機將可用于EV處理器，以及支援基于FPGA的原型設計，在制造晶片之前實現硬體和軟體協同設計。

　　“嵌入式視覺是一個快速變化的環境，”Thompson說，“現在，CNN看來是最佳的發展方向。但是，未來也可能發生改變。除了找到能夠滿足當今應用的成本和功耗需求的解決方案以外，我們希望為開發人員提供一種更有效的方法，在中期改變其設計任務，而無需回到起點重新設計。”