基于FPGA的視頻監控時代

圖像信號處理(ISP)

圖像信號處理器(ISP)通常由多個視頻處理算法組成，對輸入的視頻流，以集束流水線的形式執行圖像增強和轉換功能。圖像流水線可以實現為軟件在計算機，FPGA或數字信號處理器(DSP)上運行，或作為一個專用應用標準產品(ASSP)。

圖3 用FPGA實現的圖像信號處理器(ISP)流水線

圖3中展示了一個典型的圖像處理流水線。從CMOS圖像傳感器接收到原始的傳感器數據。線性化之后，根據與它們相鄰的像素值校正有缺陷的傳感器像素。典型的圖像傳感器提供了灰度圖像，通過使用bayer濾波器(稱為de-bayering)轉換成紅，綠和藍色。彩色校正矩陣(CCM)用來消除紅色，綠色和藍色像素之間的色度亮度干擾。

自動曝光(AE)模塊自動調整曝光時間，以彌補不斷變化的光照情況。HDR算法改進了圖像的亮和暗區域的對比度(HDR將在下一節中做更詳細的解釋)。自動白平衡(AWB)根據場景中的一個白色參考點對所有顏色作出調整。噪聲減小器消除噪聲，在不同的平滑顏色的區域常可見有明顯錯誤顏色的隨機點。噪聲隨著溫度和曝光時間而增大。伽瑪校正重新分配原本的攝相機色調級到更均勻的和更適合人眼觀看的水準，從而最有效地使用一個給定位的深度。

重疊功能使得文本和圖形能夠在視頻的頂部重疊，用于顯示菜單或攝相機的設置。根據特定的要求，可以添加額外的功能模塊。可以變化壓縮算法H.264或JPEG來達到這些要求，可運用運動檢測、目標檢測，或人臉識別來進行智能視頻分析。

HDR處理

圖像的質量取決于各種因素，包括照明。根據照明情況，場景的部分區域可能太暗，而有些區域太亮。在這些區域往往看不到細節。丟失的細節可能在應用中是非常重要的，那里需要作出關鍵的決策。

圖4 HDR處理實例

動態范圍(也稱為圖像的最大對比度)描述圖像的最亮點到相同圖像最暗點之間的比率。人的眼睛能夠看到這兩個區域中的細節，但大多數圖像傳感器具有有限的動態范圍，并且不能夠捕捉相同圖像在這兩個區域中的細節。為了能夠在高對比度區域看到細節，需要捕獲具有不同的曝光時間的同一場景的多個圖像。需要很短的曝光時間以捕獲非常明亮的區域，需要長曝光時間以捕獲暗的區域。

具有不同曝光時間的圖像可以被組合成一個圖像，提高了圖像的動態范圍。不同曝光時間的場景捕獲和這些圖像整合為一個圖像被稱為高動態范圍(HDR)處理，也被稱為寬動態范圍(WDR)處理。HDR處理、全局和局部的色調映射算法被用來創建單一的圖像，擴展了動態范圍，在相同圖像的高對比度區域中顯示出細節。動態范圍通常以dB表示。好的HDR圖像的動態范圍大于或等于90。例如，Aptina720p HDR傳感器(MT9M034)的動態范圍為120dB。