R-Car如何帶來身臨其境之感
加入技術交流群
圖2：R-Car V2H的以太網全景視頻傳輸路徑
系統成本的降低有助于全景環視的廣泛應用，而布線成本是不可忽視的一個部分。近年來出現了2種降低成本的方法，可減小當前基于LVDS的全景環視系統成本。一種是使用非屏蔽雙絞線上的以太網傳輸，另一種方法是更經濟的同軸電纜的升級版LVDS傳輸。兩種方法的系統成本差不多。不過，以太網解決方案不僅有助于降低系統成本而且為之后的應用提供了更好的靈活性。例如，隨著行車記錄系統的使用越來越廣泛，只需增加少量成本即可支持新的功能（如多通道同步錄像），因為這只需要帶有SD卡接口即可實現。相比LVDS，以太網傳輸的另一個好處在于基于AVnu聯盟的MAC層和基于開放聯盟的PHY層都是標準化的。
最佳視頻延遲控制路徑
在全景環視應用里，其中一個需要精心設計的方面是視頻傳輸(包括壓縮和解壓縮)和視頻處理階段中的延遲。事實上，從攝像頭采集影像到顯示影像的總體延遲應低于100ms，才能使駕駛人員能夠實時地感知環境。
目前，攝像頭工作的幀率為30幀/秒。使用全局快門時，傳感器電池在曝光時同時進行充電，然后成像器開始逐個輸出像素。因此，影像捕捉后大概一幀(33ms)左右傳輸最后一個像素。這個首幀延遲，無法縮短。另一個不可縮短的延遲是影像顯示，所有像素都必須在顯示影像之前傳輸完畢，這個延遲也是33ms左右。最后只剩下33ms來執行圖3所描述的其他任務。
圖3：視頻傳輸和圖像矯正的延遲
這個數據傳輸通路的第一步是數據傳輸。以太網協議并沒有提供專用機制來確保低延遲傳輸和攝像頭同步。這也是瑞薩在R-Car系列產品中首先引入了帶高級AVB硬件支持的千兆以太網MAC的原因。這為降低CPU負載和優化整個壓縮視頻接收提供了必要的硬件支持。一些專門的機制用于實現智能數據包解封和攝像頭視頻濾波。AVnu聯盟AVB協議的汽車規范里定義了對錄制視頻的快速啟動、低延遲(最大延遲為2ms)等多視圖攝像頭應用的關鍵技術的考慮。
最早的以太網的多攝像頭系統采用了低延遲的動態JPEG(MJPEG)壓縮技術。該技術基于眾所周知的JPEG標準，已被廣泛應用于消費類數碼相機。然而該技術對視頻質量的影響可能會限制后續視覺處理性能。因此，瑞薩認為H.264壓縮技術是最佳的視頻傳輸解決方案。這項技術提供了更好的壓縮比，可改進視覺處理性能。目前H.264技術已經廣泛應用在各種娛樂終端設備，它們也可已通過瑞薩豐富的汽車娛樂連接方案連接到汽車上。在R-Car V2H上，瑞薩實現了首個支持高清多通道、符合H.264標準且具有低延遲的視頻解碼的汽車SoC。
減少延遲的最后一步是縮短處理數據的延遲。事實上，傳統的基于DSP的系統需要通過雙緩沖區來采集視頻。R-Car V2H具有稱為IMR的專用引擎，可瞬時完成圖像矯正。此功能支持從最多5個低延遲視頻解碼器的直接傳輸圖像。由于R-Car V2H具有視頻直通路徑，以太網傳輸網絡中的總體延遲比傳統的LVDS大大降低了，如圖3所示。
成像與探測
IMR還可以采用查找表(LUT)即時進行視角轉換的二維或三維全景成像。可針對每個輸入幀更改攝像頭視角，以實現用戶視角間的動態轉換。其本身支持雙線性過濾，可提供出色的圖像質量。通過此方法，R-Car V2H自身只需極小的內存即可支持三維全景成像。R-Car V2H 具有與R-Car H2相同的圖像識別硬件。因此，它也可同時實現SfM計算，也還可以實現行人探測。它可以采用梯度直方圖和支持向量機分類，對四個攝像頭的數據同時進行行人探測。去年9月份在日本舉行的Renesas Developer Conference,11月份在德國舉行的慕尼黑電子展和今年3月份上海慕尼黑電子展上就對此功能進行了展示(圖4)。
圖4：基于 R-Car V2H的帶行人檢測功能的三維全景演示
結論
本文針對汽車多攝像頭應用的趨勢尤其是泊車輔助系統中的三維全景環視功能進行了討論。介紹了具有豐富可擴展性的R-Car汽車SoC系列產品。R-Car H2能夠實現汽車周圍環境即時的三維全方位成像，使泊車操作更加方便。在R-Car V2H中，引入了獨到的以太網視頻直通方法和以太網AVB MAC以及多通道H.264低延遲解碼器，從而實現了超低延遲視頻處理并減小了內存帶寬。瑞薩也引入了功能安全所需的關鍵特性，以使采用該產品的系統在功能安全上能達到ASIL B級別。
評論