基于FFmpeg的高清視頻編輯模塊的設計方案

1 相關背景

視頻分析在體育領域中的應用非常廣泛，教練員和運動員可以通過控制比賽錄像分割、回放、暫停等操作，仔細研究比賽細節(jié)，并對運動員的技戰(zhàn)術特點進行分析和總結，作為第一手資料指導運動員日常訓練及比賽。隨著多媒體技術以及視頻編解碼技術的不斷發(fā)展，高清視頻作為一種可以為研究運動員技戰(zhàn)術水平提供強力支持的重要工具，越來越受到各國教練團隊的重視。

MTS 視頻格式是一種新興的高清視頻格式， 其視頻編碼通常采用H264 格式，音頻編碼采用AC-3 格式，分辨率為全高清標準1920*1080.由于MTS 視頻格式采用的H264 編碼的復雜性，決定了解碼MTS 對硬件的兼容能力的高要求，高清片源在許多現有的播放器上播放會出現停頓、失幀的現象，因此有必要轉化為兼容性更強的MPEG 格式。使用原來基于DrectShow 技術開發(fā)的國家擊劍隊視頻管理系統(tǒng)進行MTS 格式視頻編碼時會出現無法識別視頻格式的問題，并且由于DrectShow 進行視頻編碼的效率過低，導致處理高清視頻時間過長，影響了系統(tǒng)工作效率。

為解決此問題，本文在原視頻管理系統(tǒng)的基礎上，利用在Windows 環(huán)境下編譯FFmpeg 產生的二進制庫，對原有的視頻編輯模塊進行改進，實現了MTS 格式高清視頻源的剪切和向MPEG 格式的壓縮轉換，并利用XML Parser 組件將剪輯完成視頻的時間線信息保存到XML 文檔，實現高清體育視頻的編輯、儲存和管理。

2 FFmpeg 編碼

2.1 FFmpeg 簡介

FFmpeg 是一款強大的開源免費跨平臺音視頻編碼器與解碼器的集合，屬于自由軟件，采用GPL 或LGPL 許可證，支持MPEG、MTS、MPEG4 等40 多種編碼， MPEG、Matroska、OGG 等90 多種解碼，是一個集錄制、轉換、音/ 視頻編解碼功能為一體的、完整的開源解決方案。FFmpeg 的開發(fā)基于Linux 操作系統(tǒng)， 也可在大多數操作系統(tǒng)中編譯和使用， 并且編碼效率很高，因此基于以上優(yōu)點，本系統(tǒng)選擇FFmpeg 作為實現視頻編輯模塊的基礎。

2.2 FFmpeg 在Windows 環(huán)境下的編譯

FFmpeg 是一款基于Linux 系統(tǒng)的跨平臺開源項目，采用gcc編譯器，在Windows 環(huán)境下編譯FFmpeg 不能使用BCB 或VC++ 等專用編譯器，需要先下載編譯工具鏈mingw 安裝包，并配置相應的環(huán)境變量。此外還需安裝Msys 來模擬Linux 環(huán)境，并安裝yasm.

exe 的32.bit 版本(對應自己的操作系統(tǒng))來編譯FFmpeg 里面的匯編代碼。

安裝完畢之后編輯C :MinGWmsys1.0msys.bat 文件，在最后一行加入VS2010 的相對路徑，加入這行后編譯FFmpeg 時會多出windows 下調用dll 對應的lib,其中常用的有四個庫文件：libavcodec、libavformat、libavutil 和libswscale.其中l(wèi)ibavcodec 庫中存放的是用于音視頻解碼和編碼的decode/encode 模塊，libavformat 庫中存放的是用于合并/ 分離音頻和視頻流的muxer/demuxer 模塊，libavutil 庫中存放的是內存操作等輔助性模塊。

2.3 FFmpeg 編碼的實現

本視頻編輯模塊主要是調用音頻/ 視頻編解碼庫libavcodec中的相應函數來實現格式轉換與剪切功能。在使用FFmpeg 編碼之前， 首先需要初始化libavcodec 庫，注冊所有的編解碼器以及文件格式，導入編碼器碼率、幀速率、編碼像素格式等參數，然后尋找編碼器并打開進行編碼。通過用預設的視頻參數為結構體AVCodecContext 中的各個成員參數來賦值，實現編碼參數的設置。編碼的核心函數是avcodec_encode_video( )。系統(tǒng)每采集一幀的數據， 就送給avcodec_encode_video( ) 函數編碼成H.264 視 頻流。編碼過程中詳細的函數和編碼流程如圖1 所示。

3 基于FFmpeg 的視頻編輯模塊的實現

改進之后的高清視頻編輯模塊的結構如圖2 所示。

FFmpeg 采用了主程序+ 核心庫的編程模式。FFmpeg 核心庫隱藏了其內部各種函數的具體格式的實現， 對外提供了統(tǒng)一的調用方法。針對此設計模式的特點，本視頻編輯模塊具有以下設計特點：通過直接調用FFmpeg 核心庫中的函數來實現對視頻的編輯操作，同時還對libavformat 庫中的MPEG 文件格式處理部分的代碼進行了修改，使之實現按固定碼率的輸出。系統(tǒng)的視頻編輯界面采用非線性布局，操作時間軸上需要記錄的信息有視頻剪輯的入點時間和出點時間( 精確到秒)， 每次在進行視頻文件處理時，中間層會首先判斷用戶是否時間線有改動，若有改動則執(zhí)行剪切部分代碼，將時間軸上的入點信息和出點信息作為調用核心庫函數的參數導入結構體AVCodecContext.系統(tǒng)調用avcodec_encode_video() 等相關函數對視頻進行編碼，若用戶勾選了需要格式轉換則轉換為MPEG 格式，否則按原格式輸出。轉換完成之后還需將生成的新文件的句柄替換到有關的數據結構之中，最后再將編輯的詳細信息通過XML Parser 組件生成XML 文檔。具體過程如圖3所示。

4 高清視頻分析系統(tǒng)

加入高清視頻編輯模塊之后的國家擊劍隊視頻分析系統(tǒng)如圖4 所示。

本文使用了擊劍隊標準高清測試視頻中的一段長4 分05秒的片段對視頻編輯模塊進行了測試，該片源的圖像分辨率為1920*1080,碼率為12414kbps, 幀率25 幀/ 秒，源文件大小為363MB,使用本系統(tǒng)截取了一段2 分鐘的視頻進行格式轉換，編碼系統(tǒng)正確識別了源文件，并輸出了一個138MB 的MPEG 文件。播放器上實際的播放效果表明，改視頻編輯模塊能正確的將高清MTS格式源文件按用戶要求剪切并壓縮轉換為可流暢播放的MPEG 格式，基本符合了設計要求。

5 結束

本文詳細闡述了基于FFmpeg 的高清視頻編輯模塊的設計和實現，在分析了原有基于DrectShow 技術開發(fā)的編輯模塊存在的不足的基礎上，分析和提出了基于FFMpeg 的改進方案，并介紹了該方案的具體實現，該解決方案在保持了FFmpeg 高效的編碼速率、較好的編碼質量的同時，做到了與原有系統(tǒng)其他模塊的兼容，剪輯出來的視頻符合國家擊劍隊訓練使用的各項要求。