多傳感器校準在自動駕駛汽車中如何工作？

自動駕駛汽車中高級駕駛輔助系統 （ADAS） 的多傳感器校準通過將各種傳感器（如攝像頭、LiDAR 和雷達）對齊到一個統一的坐標系中，實現精確的感知和定位，從而確保準確的數據融合。

本文回顧了 ADAS 多傳感器標定的類型和技術。

ADAS 傳感器校準結合了單個傳感器的內在考慮因素和系統級外在因素。本征校準考慮了一般因素，例如線性度、輸出斜率和偏移，以及傳感器特定的規格。傳感器特定因素的示例包括：

• 攝像頭 — 焦距、鏡頭畸變、分辨率、高動態范圍 （HDR）、鏡頭聚焦速度、高靈敏度、低照度性能、LED 閃爍緩解（以最大限度地減少交通信號燈的影響）和低延遲。

• LiDAR — 激光束角、視場 （FOV）、掃描速率、測距精度、角度分辨率和內部坐標系。

• 雷達 — 天線增益、頻率、脈沖特性、范圍、視場角、分辨率、測速精度以及檢測各種類型物體/材料的能力。

Extrinsic calibration 檢查傳感器之間的空間關系，包括平移和旋轉。它涉及校準相機、LiDAR 和雷達，以確保它們的坐標系對齊。例如，它可以驗證對象級跟蹤以及如何使用磁道級融合方案來融合數據。

ADAS 系統的外在標定可以結合使用基于目標和無目標的方法，或者只采用無目標技術來實現。

基于目標的校準

基于目標的校準（也稱為受控環境校準或靜態校準）使用具有特定形狀和大小的目標在指定距離內校準 ADAS 傳感器在靜態設置中的性能。

靜態 ADAS 校準需要特定的照明條件并且沒有反射表面，以避免傳感器混淆。校準目標用于校準和校準傳感器（圖 1）。

圖 1.典型的基于目標的 ADAS 標定系統。圖片來源：John Bean)

基于目標的 ADAS 校準的高度受控條件支持高精度校準。然而，使用受控環境也是一個限制，因為 ADAS 通常在道路上不受控制的環境中運行。因此，基于目標的 ADAS 標定通常與無目標標定結合使用。

無目標校準

基于目標的 ADAS 標定的局限性源于三種傳感器模式提供的多種數據類型。攝像頭生成 2D 圖像，LiDAR 生成密集的 3D 點云，雷達提供稀疏的 4D 點云，其中第四維表示物體的速度。

通過將掃描工具連接到汽車的計算機并以指定速度行駛、跟隨其他車輛并在明確標記的道路上導航，可以實現無目標校準。掃描工具可檢測物體和道路標記，并使用算法根據實際環境校準傳感器。

提出了一種基于自我監督學習 （SSL） 和深度神經網絡的新無目標校準方法。在這種方法中，信號的一部分用于預測信號的另一部分。它已用于對雷達陣列進行超分辨率、對相機幀進行上采樣或激光雷達測量，以改善校準結果。

在圖 2a 中，顯示了基于 SSL 的相機激光雷達校準。投影的激光雷達點云（按范圍著色）和相機圖像在左側圖像中明顯未對齊;但是，可以使用 SSL 對齊它們，如右圖所示。

圖 2.使用 SSL 進行相機-激光雷達校準（上）和相機-雷達校準（下）的示例。（圖片：Scientific Reports）)

圖 2b 說明了攝像頭-雷達校準。校準前，由青色“+”標記表示的雷達與左側圖像中移動的車輛未對準。SSL 可用于校準攝像頭雷達傳感器并對齊其輸出，如右圖所示。

總結

ADAS 很復雜，具有多種傳感器模式，需要不同類型的內在和外在校準。此外，整個 ADAS作需要多模態校準，結合使用基于目標和無目標的校準方法。最近，SSL 技術已應用于無目標 ADAS 傳感器，以提供更好的校準結果。