FPGA平臺的實時全景視頻系統設計

　　摘要：本文提出并實現了一種基于FPGA的全景視頻處理系統設計方案。該系統采用Xilinx Spartan-6 FPGA全硬件單片方式實現，包括5個攝像頭的圖像采集、圖像預處理、圖像校正、全景拼接、視頻壓縮、以太網傳輸、HDMI顯示等模塊，達到了360度全景視頻高質量、高分辨率、實時性的要求。

　　概述

　　現在的全景視頻拼接方案層出不窮，但是基本都是通過軟件處理的方式，這種方式的缺點是分辨率較低、處理速度很慢，很難達到實時的效果。為了提高視頻系統的分辨率和處理速度，滿足用戶更高的需求，本文提出并設計了一種基于FPGA的全硬件處理方式，實現了高分辨率、高質量、實時360度全景視頻系統，查新表明該成果不僅在國內是空白，在國際上其性能指標也具有領先地位。該系統在軍事、高端警衛防范、新一代視頻遠程網絡會議等地方具有廣泛的應用前景。

　　表1是該系統的性能特點，具體包括分辨率、幀率等關鍵指標。　　

 

　　全景視頻實時系統結構

　　FPGA全硬件全景視頻實時系統結構如圖1所示。系統視頻數據采集端是5個Macron高分辨率CMOS圖像傳感器水平放置，其位置是經過精確預校準的。同時配備高質量的大視角光學鏡頭對視頻進行同步高速采集，并將采集好的視頻送入圖像預處理部分。圖像預處理主要進行色彩生成、色彩校正等圖像處理，以生成正常的彩色視頻流供后續操作。圖像校正對由于采用大視角鏡頭而產生的鏡頭失真及鏡頭位置分布產生的視差失真等問題進行實時校正處理。全景拼接主要完成柱面投影模型匹配、圖像拼接、邊界處理等實時操作以生成完美的全景視頻流。本視頻壓縮模塊采用的是標準的JPEG標準進行壓縮。為應對超大尺寸全景視頻的實時壓縮，加速壓縮進程，本壓縮模塊采用一種定制的雙核并行壓縮方式。該雙核并行壓縮方式既加快了壓縮進程，又解決了超大尺寸圖像壓縮時需要超大緩沖資源的問題。同時，本壓縮模塊的視頻壓縮比是可接受遠程后端部分的以太網調整控制的。　　

 

　　UDP部分采用硬件實現UDP協議，提高數據傳輸的速度，同時提供了人機交互平臺。HDMI顯示部分完成了視頻顯示控制處理。PCIE采集卡連接PC端的PCIE接口，接收以太網發送過來的壓縮視頻數據。PC端再通過軟件圖形設計實現實時顯示全景視頻、局部放大縮小、控制FPGA模塊處理等功能窗口。