智能交通之汽車車牌定位識別設計與實現，軟硬件協同

基于計算機圖象處理和字符識別技術的車牌自動識別技術，有著極其廣闊的推廣應用前景。

1、車牌識別技術在地方上的應用

基于計算機數字識別技術的車牌自動識別技術，在收費站、停車場、加油站和居民小區、高級賓館、飯店出入口等場所，有著極其廣闊的推廣應用前景，可以實現車輛的自動監控、自動登記、自動查詢等功能，也可以用于集裝箱，貨運列車的自動抄號等。

用于高速公路收費管理：一旦車牌自動識別技術到了實用階段，它可以首先推廣應用到高速公路收費站管理。它可以使高速公路行駛的車輛不必停車而實現收費管理。

用于城市交通車輛管理：車牌自動識別技術還可以與汽車的外形、顏色等參數結合起來使用，有其可以適用于城市機動車輛的檔案管理工作、特殊的交通管理工作，能有效地提高交通流量，加強安全保衛工作，如幫助交管部門自動捕捉違章汽車牌照號碼，自動捕獲違章車輛;幫助公安部門自動監測在逃車輛、尋找罪犯汽車，解決通緝車輛、套牌車輛和被盜汽車的自動稽查問題，可以自動告警，通知執勤人員攔查，克服了人工攔查工作量大、漏報率高、工作危險性大等問題。

停車場管理：在停車場出、入口處，設有車牌自動識別系統，對進出停車場的車輛自動識別，并根據數據庫中的車牌數據判斷是否是已買(或租)車位的車輛，對已買(或租)的車輛放行，并自動記錄其出入停車場時間，以便出現車輛被盜等情況時查詢，對進入停車場的已買(或租)車位的車輛自動將其車位處的擋車器打開，以便車輛停放;對其它車輛，將自動記錄其出入停車場的時間，以便計時收費，對進入停車場的其他車輛自動分配車位并將其車位處的擋車器打開，以便車輛停放。

2、車牌識別技術在部隊的應用

車牌自動識別技術作為車輛識別的先迸技術手段，在部隊可以用于以下幾個方面：

軍事禁區車輛出、入識別：對某部軍車進行登記，其車牌及外貿、顏色等信息記錄在計算機數據庫中，在該軍事禁區大門處，設置車牌自動識別系統，對進出車輛自動識別，并根據數據中的車牌數據和外貌、顏色等特征參數，判斷是否時該部軍車，對該部軍車自動放行，使其能夠不停車甚至不減速通過，這種快速通行能力會為軍事行動贏得寶貴的時間;同時，自動實施記錄軍車出入大門的時間，以便及時準確地掌握出車情況，實現對車輛的精確管理，如有車輛未按時歸隊，該系統能自動報警;對該部對外車輛，自動識別并禁止通行，按有關規定要求登記、審批后，方可允許其進入。

動車場(庫)車輛出、入管理：在車場(庫)出入口設置車牌自動識別系統，對進出車輛自動進行識別并實時記錄車輛出入大門的時間，以便及時準確地掌握出車情況，實現對車輛的精確管理，如有車輛未按時返回，該系統能自動報警。

哨所(關卡)車輛通行管理：在哨所(關卡)設置車牌自動識別系統，準許通行車輛的車牌信息輸入計算機數據庫中，可被自動識別并放行，往返一次后，數據庫中的車牌信息隨即刪除;其余車輛自動識別后一律禁止通行并自動報警，通知警衛人員攔查、等級后移交保衛部門處理。

三、車牌識別的技術難點

車牌識別系統發展迅速，各國公司都相繼推出是何本國車牌特征的LPR系統，LPR研究由于受到多方面的限制，其技術還存在著一些不足。目前車牌識別技術存在的最大的問題是不確定性引起的識別率的問題，特別是針對不同條件LPR系統的滿足適應性條件下的識別率問題。

從采用車牌識別技術的高速公路管理部門反饋的信息來看，目前這種技術能夠達到的最大精度只有95%，還有5%的車輛系統識別不出車牌。影響識別率的原因較多，大致歸結于車牌本身的特征和外界特征兩大方面：

(1) 車牌的外形設計、制造等多方面因素使得車牌識別系統的復雜性提高， 不確定性增大。這些情況包括：

(a) 車牌缺乏統一的標準。根據中華人民和國公共安全行業標準對機動車輛牌的有關規定，車牌的規格、顏色和適用范圍各不相同。例如：小汽車牌用的是藍底白字;大型汽車所用的黃底黑字;軍用或警用的是白底黑字、紅字。缺乏統一的標準，使得車牌識別過程中字符分割難度較大，缺乏統一的模式規則的指 導作用。

(b) 車牌的質量無法保證。有些車牌比較臟或已污損，有些車牌的字符模糊不清，對光線的散射性不好。這些不確定性都極大的影響車牌識別的準確率。

(c) 車牌附近環境惡劣，有較復雜的外形或擋車器等，不利于車牌定位分割。

(2) 外界環境特征也是增加車牌識別系統不確定性，影響識別率的重要因素之一。這些情況包括：

(a) 外界光照條件各不相同，白天和晚上光照不同。光照對圖象質量的影響較大。不同光照的角度，對車牌反光的不均勻度影響也較大。不同時間，不同的其后條件，以及背景光、車牌反光程度最終決定了車牌區域的亮度特征。從實驗過程可以看出這些外界條件對車牌的粗定位和精確定位影響較大。

(b) 外界背景的復雜度也影響著車牌的定位率。背景中也車牌區域特征相似區域的大小反映了背景的噪聲程度。如與車牌字符相似的背景遠處的廣告牌易影響車牌的粗定位 。

四、車牌定位的FPGA硬件實現頂層電路結構

本設計使用Atlys Spartan?-6 FPGA 開發套件硬件平臺，利用其上的Xilinx Spartan?-6 XC6LX16-CS324的大容量邏輯資源完成車牌定位的FPAG全硬件設計。車牌定位電路應用的FPGA型號為XC6LX16-CS324，此FPGA具有 2278個slice，32個DSP48A1，Block RAM blocks最大是576kb，2個CMT(4個DCM,2個PLL)。

對于本設計的車牌定位電路是一個圖像處理的電路，因此對存儲器資源要求的比較大。在Atlys Spartan?-6 FPGA 開發套件硬件平臺上有48Mbytes 的外部存儲器資源可用。

系統整體框圖如下：

五、車牌定位的FPGA實現的各個子模塊

5.1車牌圖像的預處理

圖像預處理的作用是突出圖像中的有用信息，不同的圖像預處理對應于不同的圖像分割以獲得最佳的車牌特征。車牌定位預處理目標是突出車牌區域的特征，抑制其它無用的特征。圖像的預處理包括圖像灰度化、平滑濾波、銳化等內容。

5.1.1 圖像的灰度化

灰度圖的特征是：只有亮度信息，沒有顏色信息。彩色位圖結構復雜，難以處理，灰度圖較簡單，易于處理?；叶葓D的亮度信息，已經足以判斷對車牌進行定位了，所以選擇較容易處理的灰度圖?；叶葓D是只含亮度信息不含色彩信息的圖像，其中亮度值量化為256級?；叶葓D進行算法處理比較方便，并且更為重要的是可以在FPGA處理時大大的節省存儲空間。

首先RGB值一樣，且圖像數據就是調色板索引值，也就是實際的RGB的亮度值，又因調色板是256色的，所以圖像數據中一個字節代表一個。如果是彩色的256色圖，則經過圖像處理算法后，可能會產生不屬于這256種顏色的新顏色，而真彩色RGB圖像必須用三個與圖像尺寸相同的矩陣來存儲，這樣計算代價過大。所以，一般采用256級灰度圖來進行處理。由于采集的圖像是彩色圖像，所以要把彩色圖像轉化為灰度圖像。灰度變換有時又被稱為圖像的對比度增強或對比度拉伸。假定輸入圖像中的一個像素的灰度級為Z，經過T(Z)函數變換后輸出圖像對應的灰度級為Z，其中要求Z和Z都要在圖像的灰度范圍之內。根據T()形式，可以將灰度變換分為線性變換和非線性變換。具體應用中采用何種T()，需要根據變換的要求而定。灰度變換的具體方法是：首先將原始圖像從RGB空間轉化為YCbCr空間，Y分量包含亮度信息，Cb和Cr分量包含色度和飽和度信息，然后僅提取Y分量生成灰度圖。彩色圖像由RGB空間變換為YCbCr空間的轉換關系為: 彩色圖像由YCbCr空間變換為RGB空間的轉換關系為：

所以，最終我們得到RGB顏色和灰度值的轉換關系:

Gray=0.229R+0.587G+0.114B

在本設計中，我們將0.299用10位定點小數表示：

0.299=10’h132,

0.587=10’h259,

0.114=10’h074;

RGB轉灰度圖的系統框圖如下：

5.1.2 圖像平滑

圖像平滑主要是為了消除噪聲。噪聲并不限于人眼所能看的見的失真和變形，有些噪聲只有在進行圖像處理時才可以發現。圖像的常見噪聲主要有加性噪聲、乘性噪聲和量化噪聲等。圖像中的噪聲往往和信號交織在一起，尤其是乘性噪聲，如果平滑不當，就會使圖像本身的細節如邊界輪廓、線條等變的模糊不清，如何既平滑掉噪聲有盡量保持圖像細節，是圖像平滑主要研究的任務。一般來說，圖像的能量主要集中在其低頻部分，噪聲所在的頻段主要在高頻段，同時系統中所要提取的汽車邊緣信息也主要集中在其高頻部分，因此，如何去掉高頻干擾又同時保持邊緣信息，是我們研究的內容。為了去除噪聲，有必要對圖像進行平滑，可以采用低通濾波的方法去除高頻干擾。圖像平滑包括空域法和頻域法兩大類，在空域法中，圖像平滑的常用方法是采用均值濾波或中值濾波，對于均值濾波，它是用一個有奇數點的滑動窗口在圖像上滑動，將窗口中心點對應的圖像像素點的灰度值用窗口內的各個點的灰度值的平均值代替，如果滑動窗口規定了在取均值過程中窗口各個像素點所占的權重，也就是各個像素點的系數，這時候就稱為加權均值濾波;對于中值濾波，它對一個滑動窗口內的諸像素灰度值排序，用其中間值代替窗口中心的像素的原來灰度值，它是一種非線性的圖像平滑法，它對脈沖干擾級椒鹽噪聲的抑制效果好，在抑制隨機噪聲的同時能有效保護圖像尖銳的邊緣，少受模糊。本設計采用的是中值濾波的方法。

中值濾波器的FPGA設計。中值濾波器主要由3部分組成：濾波窗口生成模塊，行列計數器模塊，濾波算法模塊。

5.1.2.1 濾波窗口生成模塊的FPGA設計

圖像預處理算法往往針對鄰域像素操作。以3×3的窗口為例，利用2個FIFO和6個寄存器對圖像的行、列數據進行存儲，設計濾波窗口如圖1所示。

本方案將這些存儲器進行級聯，按照流水線操作，在對第n行數據存入內部存儲器的同時，由于存儲器之間的級聯，可將先進入存儲器的第n-1行，第n-2行……第1行順次存儲到下一級存儲器，這樣在一個時鐘周期內，雖然處理器只從外部存儲器中讀取一個數據，卻可以實現數據并行輸出，從而形成圖像窗口。

本設計方案中使用的FIFO(Fillst In Fillst out)稱為先進先出存儲器， FlFO在xilinx提供的ISE可以通過IP核生成器定制，FIFO主要應用參數有需要存儲的數據深度和數據寬度。數據深度表示 FIFO可以存儲的數據量的大小，數據寬度表示每一個數據的位數。因此在此圖像處理系統中FIFO的數據深度必須為一幀圖像中一行的像素數，使得FIFO內正好儲存一行的數據;數據寬度為像素亮度位數——8位。

FIFO1中的數據為圖像的第n行像素的亮度值，FlFO1的輸入是FIFO2的輸出， FIFO2中的數據為視頻圖像的第n+1行像素的亮度值，第n+2行視頻像素亮度值通過3個移位寄存器后輸入到FIFO2，q31、q32、q33與FlFO2的三個輸出值q21、q22、q23 以及FlF01的三個輸出值q11、q12、q13分別對應了3x3窗口的第n+2行，第n+1行和 第n行的輸入。為了形成正確的濾波窗口，即要保證q11、q21、q31;q12、q22、q32; q13、q23、q33處在同列不同行的位置。由下圖可以看到，此時所形成的數據q11，q12，q13，q21，q22，q23，q31，q32，q33就是濾波所要求的3×3窗口。中心象素點 是q22。

5.1.2.2 行列計數器設計

當窗口中心移動到圖像的邊緣時，此時，窗口是無效的。但是通常圖像的邊緣不包含重要的信息，所以當窗口移動到邊緣時，可以直接將輸出置為0。

5.1.2.3 濾波算法設計

對于3×3窗口的中值濾波，采用圖3所示的5級比較電路輸出中值，其輸入數據為圖2所示的濾波掩膜所在的圖像數據。第一級比較電路由3個三輸入比較器C組成，每個比較器每個比較器的輸出數據依序排列(參見圖示)。將3組比較結果中最小的3個數放在一起、中間的3個數放在一起、最大的3個數放在一起，參加第二級比較。第二級比較電路的原理與第一級類似，輸出out1和out9，分別是輸入數據中的最大值和最小值， 這2個數據將被舍去不參加下一級比較。參加第三級比較的有 7個數據，其原理類似于前兩級比較電路，輸出out2和out8分別是該7個數據的最大值和最小值，并且被舍去，僅留下5個數據參加第四級比較。剩下的幾級比較電路以類似于先前的原理進行比較。如此，經過5級比較后即可得到9個數據的標準中值濾波輸出值mid9。此外，為了保證流水線操作過程中數據的同步性，在第三級和第四級比較電路中需要插入數據寄存器R緩存當前該級中不參與比較的數據。

5.2灰度拉伸改善圖像質量

為了增強車輛圖像和牌照圖像(提取自車輛圖像)的對比度，使其明暗鮮明，有利于車牌識別，需要對它們進行灰度拉伸，來改善圖像質量。

灰度拉伸是將灰度進行分段線性變換，它將輸入圖像中某點(x,y)的灰度f(x,y)，通過映射函數T，映射成輸出圖像中的灰度g(x,y)，即：g(x,y)=T[f(x,y)]灰度拉伸變換原理圖如下圖所示，函數表達式為:

其中，對于256級圖像來說，Mg = 255。同時當a = 25， b = 35時灰度拉伸可取得較好效果。

5.3 圖像的邊緣測試——求梯度

對車牌區域檢測需要運用車牌區域所特有的屬性。按照模式識別原理，應找到車牌區域圖像的固有的且與圖像其它區域不易混淆的屬性，并且所使用的屬性在各種環境下攝取的圖像具有穩定性。通過分析可知，在各種條件下車牌所在的圖像區域穩定可靠的信息是它具有豐富的邊緣，因此本文設計了以對邊緣信息分析為基礎的算法。車牌背景色和字符色之間的對比度比較明顯，而且在車牌中幾個字符連續出現，在水平方向上形成一系列明暗交替的模式，利用這一特征就可以在圖像中對車牌所在的區域進行定位。為了提取這種特征，本文設計并改進了一個水平方向的一維梯度算子：

其中式中R，d的選取與圖像中車牌的大小有關。R，d的選取可以根據輸入圖像的實際情況進行調整，只要保證R/2+d大于車牌中字符筆畫的寬度既可起到加強車牌區域邊緣特征的作用。在本設計中R暫時取經驗值4，d取經驗值 2。這種方法是將圖像中每一行中R個連續的水平方向梯度值相加，而梯度值則是由水平方向相隔2d-1個點的象素點的灰度的差值。

求梯度的系統框圖如下：

5.4 梯度圖像的二值化

為了方便后續的工作，需要對灰度圖像進行二值化。根據下式對經過第4步求出的梯度圖像進行二值化。根據下式獲得閾值。

其中，G(i，j)為梯度處理后的灰度圖像的像素值。 根據得到的閾值對灰度圖像進行圖像的二值化。其二值化的電路框圖如下：

5.5 數學形態學處理

數學形態學(Mathematical Morphology)是分析幾何形狀和結構的數學方法，是建立在集合代數基礎上，用集合論方法定量描述幾何結構的科學吲。數學形態學是由一組形態學的代數算子組成的。最基本的形態學算子有：腐蝕、膨脹、開和閉。對于后兩個，開是先腐蝕后膨脹，閉是先膨脹后腐蝕。

腐蝕的作用是消除物體邊界點，使目標縮小，可以消除小于結構元素的噪聲點;膨脹的作用是將與物體接觸的所有背景點合并到物體中，使目標增大，可添補目標中的空洞。

開運算是先腐蝕后膨脹的過程，可以消除圖像上細小的噪聲，并平滑物體邊界。

閉運算時先膨脹后腐蝕的過程，可以填充物體內細小的空洞，并平滑物體邊界。

本設計中，對于先前得到的二值化圖像，先用一次膨脹，使車牌區域合并到一起，然后再對其進行一次閉運算，即先膨脹后腐蝕。去掉一些細小的干擾和粘連。

因為本設計中，需要加強的水平和垂直方向的邊緣，所以選擇如下表所示的結構元素。

數學形態學的FPGA設計，在本設計中，所用的3×3的結構元素，需要一個3×3的窗口，此窗口的設計和中值濾波器中所設計的窗口完全相同。

結構元素的運算單元的設計：

腐蝕的具體操作是：用一個結構元素(一般是3×3的大小)掃描圖像中的每一個像素，用結構元素中的每一個非0像素與其覆蓋的像素做“與”操作，如果都為1，則該像素為1，否則為0。

膨脹的具體操作是：用一個結構元素(一般是3×3的大小)掃描圖像中的每一個像素，用結構元素中的每一個非0像素與其覆蓋的像素做“與”操作，如果都為0，則該像素為0，否則為1。

5.6 用“投影法”來實現車牌定位

對數學形態學處理后的二值化的車牌圖像沿水平方向進行投影，以確定車牌所在區域。投影值為每一行的白色像素點的累加值。對投影值進行分析，如果投影值大過閾值R時，認為可能是車牌所在區域。如果從該行起連續10行的投影值都大于闡值R，則認為是車牌的可能所在區域，并將其標出。

定位出的車牌可能區域有幾個，需要對其進行再次的定位，以確定出車牌所在區域條。本設計中從下往上，對每一個車牌可能區域進行垂直方向的投影，投影值為白色像素點的累加值。然后從左往右查找累加值不為零的投影點。找到后從該點開始，找第一個為零的投影點。根據這兩點得到兩點間的距離，如果此距離大于預設的經驗閾值P，則認定此區域為車牌所在區域，然后將車牌的區域的4個頂點坐標輸出。

投影法的FPGA設計框圖如下：