基于FPGA的人工神經網絡實現方法的研究
加入技術交流群
人工神經網絡(Artificial Neural Network，ANN)是一種類似生物神經網絡的信息處理結構，它的提出是為了解決一些非線性，非平穩，復雜的實際問題。目前實現ANN還主要依靠軟件程序．但是依靠程序很難達到實時性的要求。
神經網絡在FPGA上實現是獨立于馮?諾依曼架構，利用FPGA的并行性，在一些實時性要求很強的領域應用。通用計算機雖然編程容易，但是很多時間浪費在分析指令，讀出寫入數據等。于是人們想利用ASIC(專用計算芯片)完成神經網絡的計算任務，但是由于資源有限，這種芯片只限于實現特定的算法結構和小規模網絡，而且專用芯片的制作成本很高，只適合大批量生產。
可編程邏輯器件FPGA的出現給IC設計行業一個很強的工具，它可以小成本的開發一些專用芯片，如果開發是成功的可以考慮流片生產。用FPGA實現神經網絡比ASIC神經計算單元更容易實現，利用可編程邏輯，FPGA可以實現像軟件一樣的設計靈活性，特別是對于復雜網絡，設計周期大大縮短，其內部的重構邏輯模塊(Configurable Logic Blocks，CLBs)包含若干邏輯單元，利用固有的可重構路徑結構可以實現高效率的連接。此外，現在正在開發中的一種神經計算芯片為神經網絡的實現提出了一種新的有效方法。
1 FPGA實現神經網絡關鍵問題分析
(1)選擇合適的神經網絡及其拓撲結構
不同的神經網絡有不同的應用，而且不同的網絡完成知識表達的機理是不同的，某一個神經網絡不是萬能的．對于實際問題，首先要做的就是選擇針對性的神經網絡，如線性分類問題可以用簡單的感知器，對于復雜的分類問題，函數逼近問題可以使用BP網絡，對于一些聚類問題可以使用徑向基(RBF)網絡等。以BP網絡結構為例，這種被廣泛采用的架構由具有錯誤反向傳播算法的多層感知器構成(Multilayer Perceptrons u-sing Back-Propagation，MLP-BP)，訓練一個BP網絡主要的問題就在于：訓練開始之前，對于網絡拓撲結構缺乏一種明確的確定方法。而進行各種拓撲結構的實驗并不那么容易，因為對于每一個訓練周期都要消耗很長的時間，特別是復雜的網絡，更是如此；其次，對于硬件而言，最合適的網絡運算法則不僅在于它達到收斂有多么快，還要考慮是否容易在硬件上實現且這種實現代價和性能如何；另外，對于同一種NN(Neural Net-work)。其拓撲結構對網絡的收斂特性以及知識表達特性都有影響，一般增加網絡的神經元或者神經元的層數，是可以增加網絡的逼近能力，但是可能會影響網絡的學習收斂情況，而且還可能會因為過適應(Overfit)而失去泛化能力。
(2)正確選擇數值表達形式
精度的選擇對處理密度(與耗費的硬件資源成反比)有直接影響。其中浮點數可以在計算機中表達實數，它有相對高的精度和大的動態范圍，使用浮點數使得計算更為精確，但是在FPGA上實現浮點數運算是一個很大的挑戰，而且會耗費很多硬件資源。盡管如此，加拿大研究人員Medhat Moussa and Shawki Arei-bi仍然實現了浮點數的運算，并進行了詳細的對比分析。
對于MLP-BP而言，Holt and Baker憑借仿真和理論分析指出16為定點(1位標志位，3位整數位和12位小數位)是最小可允許的精度表示(指可以達到收斂)。以邏輯XOR問題為例，文獻[1]中表格2．5(見表1)表明與基于FPGA的MLP-BP浮點法實現相比，定點法實現在速度上高出12倍，面積上是浮點實現的1／13，而且有更高的處理密度。
同時數據也說明基于FPGA的16位定點MLP-BP實現在處理密度上高于基于軟件方法的MLP-BP實現，這最好地證明可重構計算方法的處理密度優勢。應該說，在這種應用中浮點數遠不如定點數合適。但是定點數表示的缺點在于有限精度，盡管如此，對于不同的應用選擇合適的字長精度，仍然可以得到收斂。因此，目前基于FPGA的ANN大多數是使用定點數進行計算的。
(3)門限非線性激活函數(Non-linear activationFunction)的實現
ANN的知識表達特性與非線性逼近能力，有很大部分源自門限函數。在MLP網絡中，門限函數大部分是非線性函數(少數是線性函數，如輸出層的門限函數)，但是非線性傳遞函數的直接硬件實現太昂貴，目前實現門限函數的方法主要有：查表法(look-up ta-ble)、分段線性逼近、多項式近似法、有理近似法以及協調旋轉數字計算機(Coordinated Rotation Digital Com-puter，CORDIC)法則，CORDIC法則實現函數的優點在于同一硬件資源能被若干個函數使用，但是性能相當差，因此較少使用。而高次多項式近似法盡管可以實現低誤差近似，但是實現需要耗費較高硬件資源。相對而言，查找表法和分段線性逼近法(注意：查找表不易太大，否則速度會慢且代價也大)更適合FPGA技術實現。其中分段線性近似法以y=c1+c2x的形式描述一種線性連接組合(如圖1所示)，如果線性函數的系數值為2的冪次，則激活函數可以由一系列移位和加法操作實現，許多神經元的傳遞函數就是這樣實現的，而查找表法則是將事先計算的數值依次存儲在需要查詢的存儲器中來實現。
評論