基于FPGA的雙圖像傳感器設計方案

　　摘要：本文介紹了在Lattice FPGA平臺上實現的雙圖像傳感器設計方案。該方案通過處理兩個圖像傳感器的數據來對改善最終的圖像數據。

　　當人們考慮有兩個圖像傳感器的應用時，首先很可能想到的是一個三維攝相機。不過，也有許多設計可以通過使用來自兩個圖像傳感器的數據進行改善;一個例子是汽車司機錄像機(CDR)的黑盒子，這通常是安裝在后視鏡附近，擁有兩個攝像機(圖1)。一個攝像機朝向擋風玻璃，而另一個攝像機指向司機。在本地的存儲器芯片中存儲攝像機的視頻，如果有意外事故或疑問，可以進行檢索。　　

 

　　兩個攝像機和其數據的其他應用包括對監視的精確分析，在車中對行人的檢測。在這些設計中，這兩個相機的輸出被用來創建一個包括深度感知的算法。有了這些數據，處理器可以非常精確地“看到”圖像和從陰影或其他物體中辨別出人。

　　所有這些設計都要求有一個圖像信號處理器(ISP)。然而，一個ISP支持兩個傳感器并不簡單。雖然大多數ISP可以支持兩個圖像傳感器的吞吐量，絕大多數ISP器件已經設計成只有一個傳感器接口。即使有兩個端口的ISP往往不能組合在一起，同時處理兩個圖像，或者，如果他們能做到，往往是非常昂貴的。

　　除了這個ISP接口被限制為只處理一個圖像傳感器之外，更高分辨率的圖像傳感器構成了另一個設計挑戰。從歷史上看，通過統一的CMOS并行總線(圖2)，所有高達720p30分辨率的圖像傳感器都被連接到ISP。　　

 

　　對于720p60和更高的分辨率，圖像傳感器無法通過CMOS并行總線進行高質量的傳輸。因為并行總線速度必須高于70MHz，開關噪聲導致圖像傳感器的質量下降。為了解決這個問題，圖像傳感器供應商引入串行而非并行總線來傳輸數據。然而，由于許多ISP器件只設計成采用并行總線，需要將新的傳感器的串行總線轉換到這個并行總線(圖3)。

　　最后，對于需要3D算法的應用，這兩個圖像傳感器必須同步工作。這不容易做到，因為每個傳感器的制造商都有自己的方法和格式。例如，一些圖像傳感器使用I/O引腳來進行觸發，而其他制造商則使用I2C，SPI或兩者兼而有之。幾乎所有的ISP都面臨著設計挑戰，以支持多種模式，從而確保各種傳感器是同步的。

　　一些ISP廠商都試圖來解決這個問題，通過提供兩個獨立的接口和兩個處理引擎來支持兩個圖像傳感器。但是，結果是構成了一個非常昂貴的ISP器件，不僅圖像處理能力遠遠超過實際的需求，而且對軟件開發人員而言，配置和編程更加復雜。