多相機實時拼接視頻影像技術

摘要：單一相機分辨率有限，不利于大范圍場景的監視。本文基于不變特征拼接算法，提出多相機實時拼接視頻影像技術。該技術首先利用SIFT進行特征提取，獲得的各相機圖像間的投影矩陣，然后通過不同相機幀間信息投影及拼接，獲得實時的成像結果。該技術已投入使用，實踐驗證取得了良好的成像效果，視頻幀率可達24fps。

引言

　　拼接成像相對于普通成像技術可獲得更加寬闊的視野，能夠更廣范圍地探測監視環境，并從圖像中獲得更加豐富的信息。因此越來越受到研究人員的重視。

　　Junhong Gao^[1]等人提出了對一幅圖像使用兩個單應性進行描述的無縫圖像拼接方法，減少拼接圖像的接縫影響。Minsoo Kim^[2]等人提出一種魯邦和漸進的圖像拼接方法，使用圖像的旋轉信息，達到了與使用光束平差法進行拼接的效果。DeCarufel^[3]等人提出一種在對于在城市環境中有序捕獲的全向圖像集的匹配方案，提高了拼接圖像的匹配效果。目前，拼接視頻成像系統廣泛應用于軍事偵察、臨床醫學、地質勘測、管道檢查、公安警戒以及生活中的各類娛樂體驗項目。然而，實時的圖像拼接效率及對于拍攝環境的魯棒性仍是拼接成像系統的挑戰。

　　由于監控或拍攝場景的復雜性，以及相機視角的多樣性，在進行圖像拼接時需要能夠較好地抵御包括噪聲、旋轉等因素的干擾。不變特征的圖像拼接算法恰具有以上優勢，因此本論文將以基于不變特征的圖像拼接算法作為依據，獲取不同相機間的投影關系實現拼接，并通過優化執行步驟達到實時的拼接成像要求。本論文分為3個部分：(1)基于不變特征的圖像拼接算法;(2)實時圖像拼接系統;(3)實時成像結果。

1 不變特征的圖像拼接算法

　　不變特征的圖像拼接算法是一種采用圖像不變局部特征點和似然模型來判定圖像匹配，并能夠對輸入圖像實施拼接而無需提供用戶輸入的算法。該算法以一組具有重疊區域的不同拍攝視角圖像作為輸入，首先采用SIFT算法尋找對光照、旋轉等因素具有不變性的圖像特征點同時進行匹配，接著，使用RANSAC算法對特征點進行篩選，同時獲得基于特征點的4參數相機模型，通過矩陣參數的相乘以及向量參數與矩陣參數的計算得到各圖像與參考圖像之間的單應矩陣，進而利用單應矩陣對原圖像實施拼接，獲得預期結果。

　　Autostitch是英屬哥倫比亞大學計算機科學學院的Matthew Brown和David G.Lowe^[7-8]共同開發的一種利用多幅圖像拼接生成軟件。該軟件實現了基于不變特征的圖像拼接算法，運行結果包括圖像分辨率 、用于描述相機光心到成像平面的距離的焦距 ，以及通過對相機標定得到的兩個相機外參數矩陣。外參數矩陣描述了所拍攝圖像從相機坐標系到世界坐標系的轉換關系，包括平移矩陣

　　(1)

　　公式(1)中a₁₃和a₂₃為二維圖像在進行上述坐標系轉換時在x、y方向上的平移量，通過相機標定獲得。以及旋轉矩陣R

　(2)

　　公式(2)中各元素的值通過二維圖像在進行上述坐標系轉換時分別繞x軸、y軸和z軸旋轉的3個角度的正余弦所構造的3個矩陣相乘得到，旋轉角度通過相機標定獲得。Autostitch基于不變特征的圖像拼接算法，對輸入圖像進行拼接。

2 實時視頻拼接系統

2.1 拼接成像算法

　　實時圖像拼接系統的成像過程如圖1所示，運行過程主要分為兩部分：參數計算包括步驟(1)、(2)、(3)、(4)和視頻合成包括步驟(5)、(6)。具體過程如下：

　　(1)假設采集系統共有k個相機，分別為。在初次使用實時拼接視頻系統或多相機間相對位置發生改變時，需首先使用多相機同時拍攝一幀圖像，其中選取為參考圖像，即在拼接的過程中，同一時刻的都以為參照，與其進行特征匹配和單應關系的計算。本文選取。

　　(2)將圖像作為輸入，應用Autostitch尋找特征點、進行特征匹配并計算I_i的分辨率d_i及f_i、T_i、R_i。

　　(3)利用T_i、R_i、f_i計算圖像I_i的投影轉換矩陣P_i且 (3)

　　式(3)中，P_i為I_i的投影矩陣，描述了I_i 從相機坐標系投影到世界坐標系下所進行的平移及旋轉變換。矩陣k_i：

　　(4)

　　(4)使用P_i計算I_i的單應矩陣H_i：

(5)

　　用以表示I_i與I_r進行圖像匹配時各像素點之間的坐標對應關系。inv(P_i)為矩陣P_i的逆矩陣。

　　(5)計算經過單應變換后的圖像IW_i。首先利用I_i與H_i相乘得到Ii相對于I_r各像素點的坐標對應關系，再根據對應關系為IW_i的像素點賦值得結果。將IW_i中各像素點的坐標值(x,y,1)'轉化為齊次坐標 ，與I_i的矩陣H_i 進行計算：

(7)

　　　　(8)

　　　(9)

　　式(7)中x、y為IW_i中某點的坐標值，(x,y,1)'為(x,y)的齊次坐標，為H_i與(x,y,1)'相乘的結果，將z化為1后向量的前兩個值即為式(8)、(9)中的x'、y'。(x',y')即為I_i中與IW_i的(x,y)對應的坐標值，若(x',y')均在I_i分辨率的坐標范圍之內，則將I_i中(x',y')處的像素點的值賦給IW_i的(x',y')處的像素點，完成圖像的單應變換的操作。