嵌入式Linux下基于FFmpeg的視頻硬件編解碼

引言

目前，智能手機、PDA和平板電腦等越來越多的嵌入式設備支持高清視頻采集和播放功能,高清視頻的采集或播放功能正廣泛用于游戲設備、監控設備、視頻會議設備和數字網絡電視等嵌入式系統中。這些功能的實現建立在高性能視頻硬件編解碼技術基礎之上。本文闡述了基于FFmpeg的H.264視頻硬件編解碼在S3C6410處理器上的實現方法,為數字娛樂、視頻監控和視頻通信系統開發過程中的高清視頻硬件編解碼的實現提供參考。

FFmpeg[1]是一個開源免費跨平臺的視頻和音頻流方案，屬于自由軟件。它包含非常先進的音頻/視頻編解碼庫libavcodec，提供了錄制、轉換以及流化音視頻的完整解決方案。FFmpeg支持MPEG4、FLV等40多種編碼，以及AVI、ASF等90多種解碼。目前國內較為流行的播放器暴風影音和國外較為流行的Mplayer在音頻/視頻編解碼方面都用到了FFmpeg。

S3C6410[2]是三星公司推出的應用處理器芯片，基于ARM11架構，主頻最高可達800 MHz。它具有多媒體硬件加速功能，其中包括大于30 fps的MPEG4 SP、H.264/263 BP和VC1(WMV9)多種視頻硬件編解碼，可用于手機、平板電腦和游戲機等手持移動設備和其他高性能嵌入式設備。國產手機魅族M8的處理器使用的就是S3C6410。

雖然FFmpeg提供了簡單的應用程序編程接口(API)，可以很方便地實現多種格式的視頻軟件編解碼[3]，但是軟件編解碼在處理復雜視頻編解碼（如H.264）時無法運用到處理速度不快、內存空間不多的嵌入式環境中。為了在資源有限的嵌入式環境下使用FFmpeg實現復雜視頻編解碼，下面在分析FFmpeg視頻編碼流程和S3C6410處理器視頻編解碼方法的基礎上，闡述嵌入式Linux操作系統下基于FFmpeg的H.264硬件編解碼在S3C6410處理器上的實現方法。

1　FFmpeg視頻編解碼流程

FFmpeg主要有encode/decode、muxer/demuxer和內存操作3個模塊。encode/decode模塊用于音視頻的編碼和解碼,存放在libavcodec子目錄中；muxer/demuxer模塊用于音頻和視頻的合并與分離（也稱混合器模塊），存放在libavformat目錄中；內存等常用模塊存放于libavutil目錄中。下面以解碼過程為例分析FFmpeg視頻編解碼流程。

解碼基本流程共分4步：

① 注冊所有可能用到的編解碼器和混合器。av_register_all(void)函數中通過執行 REGISTER_MUXDEMUX(X,x)和REGISTER_ENCDEC(X,x)，把所有FFmpeg支持的混合器和編解碼器相關信息以鏈式的結構存放在內存中。

② 打開視頻文件。av_open_input_file(AVFormatContext **ic_ptr,const char *filename,AVInputFormat *fmt,int buf_size,AVFormatParameters *ap)函數中偵測文件的格式，根據文件格式從鏈式的混合器中找到相對應的混合器（demuxer）并分離出視頻信息。

③ 獲取視頻信息。通過av_find_stream_info(AVFormatContext *ic)函數獲取視頻格式。根據視頻格式，在鏈式的視頻解碼器中找到相應的視頻解碼器，并通過avcodec_open(AVCodecContext *avctx,AVCodec *codec)函數將解碼器打開用于下一步視頻的解碼。

④ 解碼一幀視頻，通過 avcodec_decode_video(AVCodecContext *avctx,AVFrame *picture,int *got_picture_ptr,const uint8_t *buf,int buf_size)函數解碼一幀視頻。

FFmpeg的編碼過程與解碼過程類似，不同的是第3步根據要求編碼的格式在鏈式的視頻編碼器中找到相應的視頻編碼器，并執行編碼過程。

通過以上對FFmpeg視頻編解碼流程分析可以知道，為了在FFmpeg中添加自定義的視頻編解碼器，并在程序運行時使用這個編解碼器，關鍵在于如下兩點：

① 根據FFmpeg對編解碼器的描述，實現自定義編解碼器。

② 通過REGISTER_ENCDEC(X,x)函數將自定義的視頻編解碼器添加到視頻編解碼器鏈中。在獲取視頻信息時，保證需要編碼或解碼的視頻能找到視頻編解碼器鏈中自定義的視頻編解碼器。

2　S3C6410處理器視頻編解碼方法

S3C6410視頻編解碼軟件架構[4]如圖1所示。底層為操作系統空間，上層為用戶空間，視頻編解碼器通過驅動和操作系統以設備文件的形式使用，使用的方法和普通文件一樣，包括文件打開和關閉、文件讀寫和輸入/輸出控制(ioctl,input/output control)。

圖1　S3C6410視頻編解碼軟件架構

具體操作方法如下：

① 通過open函數打開編解碼器設備文件；

② 使用mmap方法在用戶空間和驅動空間之間映射輸入/輸出緩存空間，這樣做的好處是可以快速進行數據輸入/輸出；

③ 通過ioctl設備編解碼參數，初始化編解碼器；

④ 輸入數據，通過ioctl執行編解碼過程，輸出數據；

⑤ 通過close方法關閉編解碼器設備文件。

值得注意的是，無論編碼還是解碼，處理的數據都是以一幀幀的形式操作的，所以第4步是一個不斷循環的過程，直到所有數據處理完成。另外，雖然編解碼器以設備文件的形式使用，但是它不能使用標準的文件讀寫操作，查看編解碼的設備驅動可以發現，其文件讀寫函數是空的，這一點三星公司的開發文檔并沒有說明。

3　H.264硬件編解碼實現

FFmpeg的H.264硬件編解碼[5]實現就是自定義一個視頻編解碼器，加入到FFmpeg庫中。這個視頻編解碼器使用S3C6410處理視頻硬件編解碼功能來實現H.264的視頻編碼和解碼過程，這樣使用FFmpeg庫的多媒體程序可以用訪問FFmpeg其他編解碼器一樣的方法使用這個自定義的編解碼器。添加自定義編解碼器的關鍵是根據FFmpeg中對編解碼的描述定義編解碼器，并實現定義中的相關函數。

在libavcodec/avcodec.h中的AVCodec結構體是定義FFmpeg編解碼器的關鍵結構體，包括編解碼器的名字、類型（聲音/視頻）、編解碼器的識別號(CodecID)、支持格式和一些用于初始化、編碼、解碼和關閉的函數指針。

typedef struct AVCodec {

const char *name;

enum CodecType type;

enum CodecID id;

int priv_data_size;

int (*init)(AVCodecContext *);

int (*encode)(AVCodecContext *,uint8_t *buf,int buf_size,void *data);

int (*close)(AVCodecContext *);

int (*decode)(AVCodecContext *,void *outdata,int *outdata_size,

uint8_t *buf,int buf_size);

int capabilities;

struct AVCodec *next;

void (*flush)(AVCodecContext *);

const AVRational *supported_framerates;

const enum PixelFormat *pix_fmts;

} AVCodec;

H.264硬件編解碼器定義如下：

AVCodec s3cx264_encoder = {

.name=s3cx264,

.type=AVMEDIA_TYPE_VIDEO,

.id=CODEC_ID_H264,

.init=X264_init,

.encode=X264_frame,

.decode=X264_decode,

.close=X264_close,

…

};

解碼器的名字為s3cx264，類型為視頻。CodecID為H264，表示這個解碼器用于H.264視頻編解碼。初始化、編碼、解碼和關閉函數指針分別指向X264_init、X264_frame、X264_decodec和X264_close函數。

添加s3cx264編解碼器到編解器鏈中，關鍵是通過修改libavcodec/allcodecs.c文件實現，修改如下：

REGISTER_ENCDEC (ASV1,asv1);

REGISTER_ENCDEC (S3CX264,s3cx264);

//添加s3cx264編解碼器

REGISTER_ENCDEC (ASV2,asv2);

這樣，在程序運行時調用av_register_all(void)函數后，就可以把自定義的編解碼器s3cx264添加到FFmpeg存放在內存中的解編碼器鏈中。值得提出的是，對同一個視頻格式FFmpeg有多個編解碼器與之相對應。如H.264格式的視頻，FFmpeg本身就帶有對應的軟解碼器，現在添加了硬解碼器，為了避免不確定是哪一個解碼器在執行，可以把自定義的硬件編解碼器在注冊時放在注冊過程的最前面，這樣編解碼器在添加到解編器鏈中時就會放在靠前的位置,查找時就可以優于軟件解碼器找到硬解碼器。

把硬件編解碼器s3cx264注冊到編解碼器鏈后，還要完成X264_init、X264_frame、X264_decodec和X264_close函數，編解碼器才能正常工作。以下結合前面對S3C6410視頻編解碼過程的分析，以編碼為例詳細闡述實現過程。

定義X264Context結構體，保存設備文件描述符、編碼參數和輸入/輸出地址等信息，用于FFmpeg模塊間數據的傳遞：

typedef struct X264Context {

int dev_fd;

uint8_t *addr;

s3c_mfc_enc_init_arg_t enc_init;

s3c_mfc_enc_exe_arg_t enc_exe;

s3c_mfc_get_buf_addr_arg_t get_buf_addr;

uint8_t *in_buf,*out_buf;

AVFrame out_pic;

} X264Context;

X264_init實現的是編碼器初始化過程， 用于編碼器設備文件的打開、內存空間的映射、編碼參數設置和獲取編解碼數據輸入/輸出地址。

static av_cold int X264_init(AVCodecContext *avctx){

X264Context *x4 = avctx>priv_data;

//打開編碼器設備文件

x4>dev_fd = open(MFC_DEV_NAME,O_RDWR|O_NDELAY);

//內存空間映射

x4>addr = (uint8_t *) mmap(0,BUF_SIZE,PROT_READ |PROT_WRITE,MAP_SHARED,x4>dev_fd,0);

//編碼參數設置

ioctl(x4>dev_fd,S3C_MFC_IOCTL_MFC_H264_ENC_INIT,x4>enc_init);

//獲取輸入/輸出地址

x4>get_buf_addr.in_usr_data = (int)x4>addr;

ioctl(x4>dev_fd,S3C_MFC_IOCTL_MFC_GET_YUV_BUF_ADDR,x4>get_buf_addr)；

x4>in_buf = (uint8_t *)x4>get_buf_addr.out_buf_addr;

x4>get_buf_addr.in_usr_data = (int)x4>addr;

ioctl(x4>dev_fd,S3C_MFC_IOCTL_MFC_GET_LINE_BUF_ADDR,x4>get_buf_addr)；

x4>out_buf = (uint8_t *)x4>get_buf_addr.out_buf_addr;

return 0;

}

ioctl的參數為S3C_MFC_IOCTL_MFC_H264_ENC_INIT，表示使用H.264編碼。

X264_frame函數執行編碼過程。需要注意的是data參數保存了需要編碼的數據，是一個四維的數組，要把它轉換成一維數組用于S3C6410編碼器輸入。另外，編碼數據存在空的情況，也就是空幀。這是需要處理的，方法是返回“0”,表示沒有輸出數據，否則程序運行時會出現段錯誤。

static int X264_frame(AVCodecContext *ctx,uint8_t *buf,int bufsize,void *data){

……

//空間轉換

if(frame){

memcpy(x4>in_buf,frame>data[0],ctx>width*ctx>height);

memcpy(x4>in_buf+ctx>width*ctx>height,frame>data[1],ctx>width*ctx>height/4);

memcpy(x4>in_buf+ctx>width*ctx>height+ctx>width*ctx>height/4,frame>data[2],

ctx>width*ctx>height/4);

}

else

return 0;//空幀，返回

//執行編碼過程

ioctl(x4>dev_fd,S3C_MFC_IOCTL_MFC_H264_ENC_EXE,x4>enc_exe);

//編碼數據輸出

bufsize = x4>enc_exe.out_encoded_size;

memcpy(buf,x4>out_buf,bufsize);

……

return bufsize;

}

X264_close關閉函數用于編碼結束后的資源釋放，包括取消空間映射和關閉設備文件。

static av_cold int X264_close(AVCodecContext *avctx){

…

//取消空間映射

munmap(x4>addr,BUF_SIZE);

//關閉設備文件

close(x4>dev_fd);

return 0;

}

解碼函數的實現過程類似于編碼函數，包括空間轉換、執行解碼和解碼數據輸出。初始化時使用S3C_MFC_IOCTL_MFC_H264_DEC_INIT參數，執行時使用S3C_MFC_IOCTL_MFC_H264_ENC_EXE參數。

4　運行測試

s3cx264編解碼器添加到FFmpeg后，可以通過以下方式測試：

① 用如下命令編譯FFmpeg。

./configure 勃enablecrosscompile

勃arch=armv6 勃cpu=armv6

勃targetos=linux 勃crossprefix

=/usr/local/arm/4.3.2/bin/

armlinux

② 運行 ./ffmpeg codecs查看可以找到s3cx264編解碼器，如圖2所示。

圖2　FFmpeg顯示s3cx264編解碼器信息

③ 結合USB攝像頭測試s3cx264編碼。運行 ./ffmpeg s 320x240 r 50 f video4linux2 i /dev/video2 vcodec s3cx264 test.mp4 可以看到FFmpegg正使用s3cx264編碼器將USB攝像頭采集的數據編碼壓縮成test.mp4文件。test.mp4能夠正常播放顯示。

以上測試說明已經成功地將s3cx264硬件視頻編碼器添加到了FFmpeg中，能夠編碼視頻數據，可以運用到其他使用FFmpeg庫的多媒體程序中。

結語

對于多媒體開發來說，編解碼時使用FFmpeg多媒體庫是一個不錯的選擇，支持較多的音視頻編解碼，編程接口簡單易用。了解FFmpeg編解碼過程，熟悉FFmpeg硬件編解碼器添加方法，對多媒體開發，尤其是資源有限的嵌入式多媒體開發有很大幫助。本文通過分析FFmpeg視頻編解碼過程和三星S3C6410處理器視頻硬件編解碼方法，在FFmpeg庫中成功添加S3C6410硬件編解碼器，使FFmpeg庫具有H.264視頻格式的硬件編解碼能力,可運用于游戲設備、監控設備、視頻會議設備和數字網絡電視等嵌入式系統中，同時也為其他嵌入式設備添加別的視頻格式的編解碼器到FFmpeg多媒體庫提供了參考。

參考文獻

[1] http://www.ffmpeg.org/.

[2] Samsung.S3C6410 Datasheet,2010.

[3] 李少春.基于FFMPEG的嵌入式視頻監控系統[J].電子技術,2007(3):3437.

[4] API Document S3C6400/6410 MultiFormat Codec,2008.

[5] FFmpeg codec HOWTO[EB/OL].2010[201101].http://wiki.multimedia.cx/index.php?title=FFmpeg_codec_HOWTO/.

劉建敏（碩士生）、楊斌（教授），主要研究方向為單片機與嵌入式系統及應用。

linux操作系統文章專題:linux操作系統詳解（linux不再難懂）