Xilinx ZYNQ UltraScale+ MPSoC應用專欄系列連載[第三篇]寫一篇簡單需求

Xilinx ZYNQ UltraScale+系列連載[第三篇]寫一篇簡單需求

                                              作者：hello，panda

離上篇博客發布已經有很長的時間了，請原諒樓主，一個是小Panda降臨需要照顧，另一個是確實這段時間的工作太忙，拖到今天才開始動筆寫第三篇。

做事情講究個“謀定而后動”，做研發尤其如此，準備工作一定要做得充分了，需求一定要理解明確了，方可開始吭哧吭哧繼續往下干。

樓主先準備以ZCU104為平臺，實現一個視頻處理和傳輸系統，算是熟悉ZYNQ UltraScale+ MPSoC器件。

總體要求是：設計一個圖像采集、處理和傳輸系統，實時視頻分辨率不小于4000×3000，幀率不小于30fps，視頻可通過HDMI2.0(或DP)接口本地實時顯示。JPEG壓縮的圖片和H.265壓縮后的視頻存儲在本地SATA盤中，實時碼流可通過GigE Vision傳輸到主機。系統總體框架如下圖1所示。

                                                                     圖1 系統總體框架

1 硬件平臺

本階段先使用ZCU104平臺進行驗證，Camera和SFP接口通過FMC擴展板實現。

2 軟件需求

軟件包括PL和PS兩個部分，其中PL部分實現Camera IF、ISP、Encoder、GigE Vision和HDMI2.0接口；PL部分運行Linux操作系統，使用QT圖形界面，驅動DP顯示和SSD存儲。

2.1  PL部分

PL部分主要實現接口和算法。

2.1.1    相機接口（Camera IF）

Camera IF硬件上通過FMC接口板接入，支持LVDS（LVDS通道數不大于15對）、MIPI D-PHY、MIPI C-PHY接入。Camera 分辨率不低于4000×3000，幀率不低于30fps，8bit、10bit或12bit Raw（Bayer）數據輸入。

2.1.2   圖像信號處理（ISP）

本階段ISP實現基本功能,主要包括：Demosaic、CCM、3A、Dpc、Gamma、Denoise、Enhance等基本內容，ISP需保證對輸入圖像實時處理。

2.1.3   Encoder

Encoder主要有兩部分，一個H.265視頻流壓縮，一個是JPEG靜態圖片壓縮。H.265使用芯片內置的硬核，JPEG壓縮通過邏輯實現。H.265至少保證4000×3000分辨率30fps實時壓縮。

2.1.4    GigE Vision網絡傳輸

GigE Vision采用10G光口傳輸，硬件在FMC擴展板上實現。GigE Vision可實時傳輸原始圖像、ISP處理后的圖像、H.265碼流和JPEG靜態圖片，通過xml配置文件指定支持的源和格式。

2.1.5   HDMI2.0接口

基于GTH，符合HDMI2.0標準，顯示原圖或ISP后的圖像，可疊加OSD。

2.2  PS部分

PS部分運行Linux操作系統，運行QT疊加生成OSD。

2.2.1   調度功能

PS需配置PL工作的各項參數，獲取系統狀態，運行3A算法的C部分。PS部分還需處理PL的各中斷，以協同處理存儲、顯示等工作。

2.2.2  存儲和顯示

實現DP和SATA驅動，存儲和讀出PL生成的視頻流文件請求。運行QT，生成人機交互界面。

3總結

整個系統基于AXI4總線架構，SoC軟件硬件協同處理，需要保證良好的可擴展性，以便擴展下一步的圖像檢測和識別算法、AI算法等。