支持嵌入式視覺神經網絡的數字信號處理器(DSP)

Cadence IP事業部Tensilica Vision DSP產品系列營銷總監 Pulin Desai

　　在手機、安防監控、汽車、增強現實/虛擬現實(AR/VR)領域，無論正在開發的還是計劃中的各類嵌入式應用都涉及到了神經網絡，神經網絡應用正在呈爆炸式增長。神經網絡領域創新力非凡，其自身架構不斷更新換代，新網絡、新應用和市場也層出不窮。隨著神經網絡應用的日益深入和復雜，對計算性能的要求也與日俱增。短短不到4年的時間里，MAC/幀的計算需求大約增長了16倍(見圖1)。

圖1 MAC/幀的計算需求的增長

　　隨著神經網絡的發展，在設備中嵌入處理器(而非使用CPU和GPU)的需求不斷增加。然而，網絡的處理能力和運行速度并沒有跟上神經網絡應用的發展要求，這一沖突在視覺應用領域尤為明顯。截至目前，滿足神經網絡應用需求只能借助傳統數據中心的資源。然而，隨著安全性和延遲成為重要的考慮因素，通過嵌入式系統實現神經網絡愈發普遍，以實現實時數據處理。雖然大部分的神經網絡訓練可以在線下實現，但使用神經網絡的應用必須將其嵌入至系統中。

　　所有嵌入式應用中，AR/VR或混合現實面臨著獨有的挑戰。上述領域的設備大多屬于智能頭盔、耳機或智能眼鏡等可穿戴設備，依靠電池供電，能耗時選擇神經網絡解決方案時最重要的考量之一。AR/VR應用的另一個重要需求是減小延遲，所以神經網絡必須實現設備嵌入。所有這些設備都需要某種圖像識別、手勢識別、立體攝像分割、3D傳感、頭部跟蹤、眼球偵測和眼球跟蹤能力。現在的成像技術多種多樣，但隨著時間的推移，其中某些功能，如語義環境理解、手勢識別或圖像識別，將都可以通過神經網絡實現。除了成像/視覺神經網絡，這些設備還對聲音/音頻神經網絡提出了要求，以接收語音指令。

　　在技術環境瞬息萬變的今天，AR/VR設備制造商需要現在立即為2019年、2020年甚至更晚上市的產品選定平臺。引入新的神經網絡后，由于其架構不斷變化，我們無法確保當前有效的工作平臺在未來系統中的有效性。此外，這些應用還要求實現低延遲和低功耗，這一點也尤為重要;但鑒于神經網絡需求的不斷增長和這一趨勢的不斷進展，我們仍需保證一定的靈活度和前瞻性。

　　目前，實現神經網絡有兩個主要選擇：CPU/GPU或使用硬件加速器及匹配的成像DSP。這兩個選擇都可以各自解決設計人員面臨的一些挑戰;但又都在開發的簡易程度、功耗效率、延遲、未來升級空間或性能方面有一些令人不滿意的折衷。硬件加速器與匹配的成像DSP是嵌入式設備的選擇之一，但這一組合效率低下，會產生不必要的功耗。除了開發困難，軟件還必須在DSP和加速器之間進行分區。僅卸載卷積層會顯著增加數據傳送負擔，并影響效率。另外，硬件在流片時便已固定，所以這些加速器將不具備未來的升級空間。

　　符合嵌入式應用需要的神經網絡DSP解決方案要滿足以下要求：易于開發、能夠處理龐大的數據量、未來具有升級空間、有效地使用能源并實現延遲最小化。

Cadence解決方案：Tensilica Vision C5數字信號處理器(DSP)

　　作為面向視覺和融合傳感器應用優化的解決方案，Cadence Tensilica Vision C5 DSP是業界首款致力于神經網絡處理并適用于多處理器架構的DSP。這一解決方案實現了前所未有的速度和低功耗，并滿足高階神經網絡技術的全部要求。

　　該解決方案以近20年的Xtensa多處理器經驗為基礎，具有存儲器結構共享、允許中斷、同步隊列和同步多處理器調試等特性。Vision C5 DSP可以實現全神經網絡層的計算加速(卷積層、全連接層、池化層和歸一化層)，而不僅僅是卷積層功能。因此，主視覺處理DSP的能力得以釋放，獨立運行圖像增強應用程序;而Vision C5 DSP則運行推理任務。通過移除硬件加速器的冗余數據傳輸，Vision C5 DSP的功耗遠低于現有的神經網絡加速器。

　　Vision C5 DSP具備1TMAC /秒的計算能力，可以滿足神經網絡不斷增長的計算要求;并且計算精確，擁有多核心設計架構，支持多TMAC嵌入式解決方案。Vision C5 DSP針對的是經常運行多個神經網絡的應用。由于其可編程特性，該解決方案具有未來升級空間，并且能夠隨著設計的改變而支持新分層。

　　視覺處理系統必須設計全面，適用于所有平臺，并同步開發硬件和軟件。為了開發這項技術，設計人員必須使用支持高效算法的工具和IP，采用的硬件平臺也需滿足每個應用程序的目標成本和功耗要求。從系統層面來看，Cadence可以支持嵌入式視覺設備的設計人員盡可能最快速的高效地開發變革性產品。