嵌入式Linux的圖像采集與顯示

1 系統平臺的硬件結構

本文使用的系統平臺硬件功能框圖如圖1所示，該平臺采用samsung公司的處理器s3c2410。該處理器內部集成了arm公司arm920t處理器核的32b微控制器，資源豐富，帶獨立的16kb的指令cache和16kb數據cache，lcd控制器、ram控制器，nand閃存控制器，3路uart、4路dma、4路帶pwm的timer、并行i/o口、8路10位adc、touch screen接口，i2c接口，i2s接口、2個usb接口控制器、2路spi，主頻最高可達203mhz。在處理器豐富資源的基礎上，還進行了相關的配置和擴展，平臺配置了16mb 16b的flash和64mb 32位的sdram，通過以太網控制器芯片ax88796擴展了一個網口，另外引出了一個host usb接口。在usb接口上外接一個帶usb口的攝像頭。另外，還配有分辨率為320×240，256色的lcd。

2 嵌入式linux簡介

linux操作系統具有相當多的優點，他的內核穩定、功能強大、支持多種硬件平臺、源代碼完全開放，可裁減和低成本的特性非常適合于嵌入式應用，并且linux本身直接提供完整的tcp/ip協議，可非常方便地進行網絡應用。但linux內核本身不具備強實時性，且內核體積較大，而且嵌入式系統的硬件資源有限，因此把linux用于嵌入式系統，必須對linux進行實時化和嵌入式化，即通過配置內核，裁減shell和嵌入式c庫對系統定制，使整個系統能夠存放到容量較小的flash中，linux的動態模塊加載，使linux的裁減極為方便，高度模塊化的部件使添加非常容易。

整個系統軟件是在嵌入式linux的基礎上構建的。s3c2410平臺使用的linux內核是在linux－2.4.18內核打上patch－2.4.18－s3c2410這個補丁后編譯而成。s3c2410平臺使用的文件系統是yaffs，文件系統包括應用程序、模塊、配置文件和庫等，圖像的采集和顯示是建立在嵌入式linux內核之上的，整個軟件系統如圖2所示。

通常宿主機和目標板上的處理器不同，宿主機通常為intel處理器，而目標板如圖1所示為samsung s3c2410，所以程序需要使用針對處理器特點的編譯器才能生成在相應平臺上可運行的代碼，gnu編譯器提供這樣的功能，在編譯時，可以選擇開發所需的宿主機和目標機，從而建立開發環境。在進行嵌入式開發前的第一步工作就是把一臺pc機作為宿主機開發機，并在其上安裝指定操作系統。對于嵌入式linux，宿主機pc上應安裝linux系統。之后，在宿主機上建立交叉編譯調試的開發環境，開發環境的具體建立這里不細談。本文采用移植性很強的c語言在宿主機上編寫視頻采集程序，再利用交叉編譯調試工具編譯鏈接生成可執行代碼，最后向目標平臺移植。

3 基于video4linux的圖像采集

video4linux是linux中關于視頻設備的內核驅動，他為針對視頻設備的應用程序編程提供一系列接口函數，在linux下，視頻采集設備的正常使用依賴于對video4 linux標準的支持。如果使用video4linux，在編譯內核時，一定要選中multimedia devices下的video for linux選項，本文針對的設備文件是/dev/video，使用的器件是基于ov511的usb攝像頭。在運行程序前，一定要先加載usb及ov511設備驅動模塊，同時加載video4linux模塊，分別使用命令：modprobe usbcore，modprobe usbohci，modprobe videodev和modprobe ov511，以確保生成設備文件/dev/video，若使用的linux操作系統不支持modprobe命令，也可使用insmod命令。一般來講，基于video4linux的圖像采集的程序流程如圖3所示。

以下簡單介紹程序的編寫，在這里只給出關鍵部分的實現代碼。

首先，必須聲明包含2個頭文件：

在獲取圖像信息后，還可根據需要改變這些信息，例如對比度、亮度、調色板等，具體做法是先給video_picture中相應變量賦新值，再利用vidiocspict ioct1函數。

第2部分，使用mmap方式的單幀圖象采集：

然后調用ioct1（grab_fd，vidiocsync，＆frame）函數，該函數成功返回則表示采集完畢，采集到的圖像數據放到以data為起始地址，長度為240×320×3的內存區域中，讀取該內存中的數據便可得到圖像數據。

在此基礎上同樣可實現連續幀的采集，即一次采集連續多幀圖像的數據，video4linux最多支持一次采集32幀，此時首先要設置grab_buf.frame為要采集的幀數，而每一幀的數據在內存中的位置為data＋grab_vm.offsets[frame]，其中grab_vm為video_mbuf結構體變量的一個聲明，利用ioct1（fd，vidiocgmbuf，＆grab_vm）便可獲得grab_vm的信息。

4 基于framebuffer的圖象顯示

當video4linux使用mmap方式采集圖像時，他總是盡最大努力將圖像直接顯示在屏幕上，但并不一定能夠完成，因此一個完整的設備應該具有圖像顯示的功能，一般來講，嵌入式linux下顯示一幅圖像總共有以下幾種方法：

（1）在利用video4linux采集圖像時，將采集到的圖象數據直接放到framebuffer的內存映射區中，而video4linux也支持這種功能，利用vidiocsfbuf和vidiocgfbuf這兩個ioct1函數，可設置和獲得struct video_buffer。但該方法并不是每個圖像采集設備都支持。

（2）進圖像數據存成各種格式（例如bmp），在各種gui軟件中，均會直接顯示不同格式的圖像的函數，如minigui中的fillboxwithbitmap函數。

（3）直接將圖像數據寫入framebuffer中。

在這里主要介紹第3種。framebuffer設備是運行在linux控制臺上的一個優秀的圖形接口，他幾乎支持所有的硬件，提供了統一的api接口，很好地實現了硬件無關性，他可以直接操作顯存，而且還留有提供圖形加速功能的接口，運行時不需要root權限；framebuffer的設備節點是/dev/fb＊，用戶若要使用他，需要在編譯內核時選中framebuffer，其簡單的使用程序如下：

從vinfo和finfo中取得顯存起始地址、分辨率、色深等信息，然后根據這些計算出需映射顯存的大小。

由此便可直接操作大小為screensize，起始地址為fbp的內存區域，在lcd上直接顯示圖像、圖形、文字等，例如執行memset（fbp，0，screensize）將進行清屏操作。

需要注意的是，對于色深為8位或8位以下的設備，在進行繪圖操作前還需要設置合適的調色板，操作調色板要用到fb_camp結構，執行ioctl（fd，fbiogetcmap，＆old_cmap）將保存調色板信息，執行ioctl（fd，fbio－putcmap，＆new_cmap）將設置新的調色板。

以下介紹如何顯示一個象素，這里假設lcd為24位色的。

由此便可逐一顯示每個象素，進而顯示整幅圖像。

5 結語

由于linux的驅動模型支持模塊堆疊技術，內核開發者已提供了一些通用模塊，因此，雖然文中是以usb攝像頭為例，但只要針對自己的圖像采集設備編寫基于video4 linux的驅動程序，針對自己的lcd編寫基于framebuffer的驅動程序，以上的程序便可成為通用的圖像采集與顯示程序。應用本文所述方法完成圖像采集與顯示工作，再加上相關的處理并接入網絡，就構成了一個智能終端設備，可用于工廠、銀行等場合全天候的智能監控，圖像的網絡通信等，具有廣闊的是市場和應用前景。