智能駕駛中的 感知 模塊介紹

在自動駕駛系統中，感知技術是核心基礎之一。感知技術為車輛提供環境信息，使其能夠實現對周圍環境的理解、分析與決策，從而保證安全性和高效性。通常大家對感知的介紹停留在“眼睛”的作用，但這樣的解釋太寬泛了例如感知到底是什么？由哪些模塊組成？輸入輸出有什么含義？數據怎么流轉的？會經歷哪些硬件模塊？下面來簡單看一下。

現在大家不都是在提倡感知規控“端到端”嗎？為什么還要拆開介紹？個人理解：完全端到端還有很長一段時間要走，了解感知模塊，沒什么壞處。

感知是指通過傳感器獲取環境信息并將其轉化為可用數據的過程。在自動駕駛中，感知技術主要包括目標檢測、識別、跟蹤、分割、預測等。沒有可靠的感知技術，下游規控很難進行決策，自動駕駛系統也很難實現安全駕駛。

感知系統通常由多種傳感器和數據處理單元組成。常見的傳感器包括：

1. 激光雷達（LiDAR）：通過激光掃描獲取高精度的三維點云數據，能夠準確測量物體的位置和形狀。

2. 攝像頭：提供高分辨率的視覺信息，用于識別物體的顏色、形狀以及交通標志等。

3. 毫米波雷達：擅長檢測動態物體，尤其適合在惡劣天氣條件下工作。

4. 超聲波傳感器：用于近距離障礙物檢測，常用于泊車場景。

有了這些傳感器，怎么把它們采集到的信息用起來呢？這就涉及到數據流轉的計算單元了。常見的數據處理單元包括：

1. Image Pyramid（簡稱Pyramid，圖像金字塔）用于對輸入的圖像按照金字塔圖層的方式處理，并輸出到DDR，可實現對圖像多尺度的縮小、裁剪，輸出圖像數據可直接用于BPU上的模型推理；

2. GDC (Geometry and Distortion Correction，幾何校正和失真校正)可將輸入的圖像進行視角變換、畸變校正和指定角度（0,90,180,270）旋轉，常用于對魚眼相機圖像的畸變矯正；

3. Stitch可對輸入的圖像進行裁剪、拼接，常用于AVM的環視圖像拼接；

4. ISP(Image Signal Processing) 圖像信號處理。主要用來對前端圖像傳感器輸出信號處理的單元，以匹配不同廠商的圖像傳感器。

5. NPU(NeuralNetwork Processing Unit)神經網絡處理器：常見的有GPU、BPU等。

6. CPU(Central Processing Unit)中央處理器，常用于解釋計算機指令以及處理軟件中的數據。

有了輸入數據傳感器和數據處理單元后，下面就涉及到感知模塊常用的算法了。

智能駕駛感知技術依賴于多種算法模型，以下是幾種常用的算法：

1. 目標檢測與識別：通過攝像頭數據檢測識別出車輛、行人、交通標志等。

2. 點云分割與分類：通過激光雷達點云處理技術，識別障礙物和行駛道路。

3. 多傳感器融合：結合激光雷達、攝像頭的數據，提高感知的準確性和魯棒性。

4. 軌跡預測：對檢測出的動態物體運動軌跡進行預測，為路徑規劃和決策提供支持。

以一個多傳感器、多視角融合算法模型為例，介紹如何將整個數據通路串接起來，前面介紹的傳感器和數據處理單元也會一起用起來。

盡管感知技術已經取得顯著進展，但仍然面臨諸多挑戰：

1. 復雜環境下的可靠性：在雨雪、大霧、強光等惡劣天氣條件下，傳感器的性能會大幅下降，影響感知系統的可靠性。

2. 計算效率：感知算法需要實時處理大量數據，計算復雜度高，對硬件性能要求極高。

3. 傳感器成本：高性能傳感器如激光雷達成本較高，限制了其在量產車上的普及。

4. 誤檢與漏檢：在復雜場景中，感知系統可能出現誤檢（將無威脅物體識別為障礙）或漏檢（忽略真實威脅）的情況，影響駕駛安全性。

希望本文能對您有所幫助，下次有時間再介紹別的~