前座駕駛員

　　降低相關(guān)復(fù)雜性的一個好方法是，考慮執(zhí)行NGC內(nèi)核需要的工作量。兩個數(shù)字圖像的相關(guān)可以定義為：
　
　
　　f(x,y)是一個函數(shù)，用于描述(x,y )中的8位像素的灰度水平(0-255)，模板t(x-u, y-v)被來自原點的(u,v)像素所取代。模板和圖像在等式中能夠改變位置，因為結(jié)果對代數(shù)符號不敏感。這個模板的尺寸是按照p像素 x q像素計算的。可以看出表達式一個像素一個像素地比較f和t，并且假定縮放比例，使模板和圖像尺寸相同。

　　通過擴展，我們考慮模板項的平方是一個常量，圖像項的平方是一個大致的常量。我們發(fā)現(xiàn)，C(u,v)這個相關(guān)的近似值仍需要在有用的邊界中定義，使其更加不依賴可見光。
　

　　最后，如果我們把測試中的模板和圖像區(qū)域轉(zhuǎn)到原點：
　

　　要減少可見光的影響，標簽f和標簽t是圖像和模板灰度密度的算術(shù)平均，這些圖像和灰度密度取代對比窗口中的所有的N = p x q像素。用這兩個函數(shù)的幾何平均值除以這個分子將得到更好的獨立結(jié)果和一個界限。
　　
　　通過Navi2V的加速器GSEU(灰度搜索引擎單元)重新安排處理：

　　通過檢查可以發(fā)現(xiàn)上式有五個不同的計算，其中兩個可以預(yù)先計算。一個歸一化相關(guān)可以分配給SH-Navi2V的圖像識別加速器(見圖3)中的16個區(qū)域處理器。這16個區(qū)域處理器中的每一個處理器被設(shè)置為一個四處理器MISD(多指令單數(shù)據(jù))引擎。每一個四處理器GSEU能夠處理正在被收縮的圖像中整個的指定區(qū)域里歸一化相關(guān)內(nèi)核。如圖3所示，預(yù)備項用作計算歸一化相關(guān)需要八次運算。提供一組已計算出的項，SH-4A內(nèi)核接收和生成歸一化相關(guān)結(jié)果。它用軟件流水線模式(組裝線)執(zhí)行最后的計算。其輸入操作數(shù)是圖像識別引擎早些時候在一個積累期計算的項。SH-4A雙精度協(xié)處理器提供平方根開方和除法運算。

　　這個標記可能和鏡頭視點(Camera view)中目標體上的臨時標簽一起工作，鏡頭視點至少有一個匹配的模版。
以300MHz的速度運行，這個圖像識別引擎每個循環(huán)周期能夠完成16個歸一化相關(guān)步驟。每個周期8次運算和16個引擎并行工作，加速器每秒中可進行38.4GOPS計算，不包括SH-4A執(zhí)行的運算，以及預(yù)處理、標簽、矩形圖調(diào)整和其他后處理單元(圖3b)以及2D圖像所需要的狀態(tài)機。除非預(yù)先把匹配的模板安排在計劃中，否則，搜索只能通過每一個像素的一次一次的全面計算實現(xiàn)。

前景光明

　　由于SH-Navi2V芯片能夠發(fā)揮許多作用，有必要解釋一下它到目前為止做了哪些事情。SH-Navi2V已經(jīng)可以接受來自兩個攝像機的輸入信號；它已經(jīng)可以為一些重要模板搜索了視頻幀，并且在液晶顯示屏上顯示結(jié)果。

　　瑞薩科技把這一過程中分為四個階段，所有的圖像引擎任務(wù)和相關(guān)控制都是由SH-4A處理的：

　　來自兩臺攝像機的視頻幀(NTSC/PAL制式)通過VIN模塊(如圖2所示)接收，并且存儲到DDR SDRAM外部內(nèi)存。

　　圖像識別引擎從DDR SDRAM內(nèi)存載入下一個需要處理的視頻幀，并且把這個結(jié)果傳回內(nèi)存。

　　SH-4A訪問DDR SDRAM外部內(nèi)存，從已經(jīng)完成圖像識別的堆棧框架上面提取數(shù)據(jù)，執(zhí)行高質(zhì)量圖像處理，并且把處理后的圖像傳輸回內(nèi)存。

　　內(nèi)存里SH-4A已經(jīng)處理過的圖像將通過顯示單元(DU)傳輸?shù)今{駛員可以看到的WVGA或者XGA液晶顯示屏。

　　正如瑞薩科技描述的那樣，使用SH-Navi2V的系統(tǒng)能夠向汽車駕駛員提供視頻影像，通過圖像識別功能突出與交通有關(guān)的物體。這個視頻影像還包含一個語音提示，讀出交通標志的內(nèi)容，如限速公里數(shù)等。因此，采用這種芯片的系統(tǒng)能夠向駕駛員提供比GPS和地圖更準確的位置信息。它能夠說明主汽車周圍的環(huán)境狀況，向駕駛員提供有關(guān)行車狀況的信息，如新的或者臨時的道路標志。

　　該系統(tǒng)是提高汽車和駕駛員安全的一個良好開端，但是還有一些障礙需要克服。灰度歸一化相關(guān)自從90年代初就開始應(yīng)用在機器人視覺中，也許是80年代末。在大多數(shù)情況下，這個技術(shù)是在處理一些動作緩慢，或者應(yīng)用在對色彩不太敏感，并且與車輛移動時拍攝視頻所不同的環(huán)境下。圖像縮放和旋轉(zhuǎn)以及透視變形需要高出2到3個數(shù)量級的性能。每秒搜索的幀數(shù)必須要提高：汽車在以每小時50公里的速度行駛時每秒中前進大約73英尺，系統(tǒng)需要處理解決攝像機抖動以及汽車的顛簸搖晃。有些攝像機的光學(xué)系統(tǒng)已經(jīng)提供了單軸幫助功能(像佳能的IS鏡頭和尼康的VR)，或者通過壓電致動器(美能達)實現(xiàn)的CCD/CMOS傳感器位置控制。

　　此外，圖像穩(wěn)定軟件或者對前幀中已經(jīng)識別出的物體的移動進行預(yù)見性的搜索也能提供幫助。(譯自In-stat微處理器報告)