基于FPGA+DSP技術的Bayer格式圖像預處理

高分辨率圖像實時處理在通信、醫學、軍事、航天航空、信息安全等領域有著廣泛的應用和發展。在圖像實時處理的過程中，下層圖像預處理的數據量大，運算簡單，但是要求運算速率高，可以用FPGA硬件來處理，上層所處理的數據量少，算法結構復雜，適于運算速度快，尋址靈活的DSP數字信號處理器進行處理。這里提出了一種FPGA+DSP相結合的實時圖像處理系統，并應用于傳像光線束傳遞圖像。CMOS實際采集的是光線束的出端圖像，FPGA將CMOS采集的Bayer格式的圖像轉換為RGB格式的亮度信號。由于光纖出、入端結構不同，需要DSP準確每根光纖的中心位置，重新排序才能輸出正確的圖像信息。該系統充分發揮了FPGA和DSP各自的優勢，能更好地提高圖像處理的實時性，降低成本。

1 Bayer圖像格式
CMOS圖像傳感器作為一種基礎器件可以實現信息的采集、轉換以及視覺功能的擴展，并能直觀真實地給出可視圖像信息。系統中CMOS圖像傳感器輸出2 592x1 944x12 bit的Bayer格式的圖像(該格式的圖像本身就是數字信號，因此無需對圖像進行模數轉換)，Bayer圖像格式如圖1所示。在圖l中，每個方格代表一個像素，并且只含有R、G、B中的一種顏色分量，奇數行由G、R像素交替構成，偶數行由B、G像素交替進行，其中G像素分量占所有像素的一半，R像素和G像素占另一半。因為G像素分量是R、B像素分量的2倍，所以如果G像素分量采用好的插值方法，不僅可以提高G像素分量的質量，也能提高R和B像素分量的質量。由于TMS320DM642的video port capture接口的數據總線是8位或者16位(該系統采用了更適合DSP處理的8位數據)，所以為了后續的DSP能夠更好的處理數據并減少DSP的運算量，需要使用FPGA先將輸出的圖像數據取高8位，然后依據每個像素點與相鄰8個像素點之間的關系，使用雙線性插值法將Bayer圖像格式轉換成24位的RGB圖像格式和亮度信號，然后將處理后的數據發送給DSP。

2 圖像數據處理的工作原理
2．1 Bayer圖像的格式轉換
雙線性插值法具有算法計算量少，算法結構簡單，易于實現，占硬件資源少等優點，本系統中更適合FPGA實現。雙線性插值法的基本原理是將每個像素位置上缺少的另外兩種色彩分量通過該像素本身為中心的領域內具有相同分量的像素平均獲得，即將每個像素的RGB分量都以該點像素為中心的3x3像素矩陣進行線性插值而成。按照這種思路可以將圖像中的3x3矩陣分成4類，如表1所示。

每種圖像矩陣中間的像素點為待插值的數據源，設R(x,y)、G(x,y)、B(x,y)為插值計算后該點紅、綠、藍像素分量。當像素位于奇數行奇數列計算公式為：