高精LiDAR+神經渲染3DGS的完美融合實踐

在自動駕駛時代奔涌向前的路上，仿真測試早已不再是可選項，而是驗證智能駕駛系統安全性、魯棒性和泛化能力的剛需，如何提升仿真測試的保真度已成為無法避免的重要話題。

這正是“數字孿生”出現的時代背景。本文為大家詳細介紹如何用傳統與前沿結合的數字孿生構建流程，再配合3DGS 的神經網絡重建技術，為自動駕駛仿真測試注入真正的“現實之眼”。

一、從點云到高精地圖的重建

依托獨家的aiData工具鏈與aiSim仿真平臺，本文建立了一套高精度數字孿生地圖構建流程，已經廣泛應用于布達佩斯 Kolosy廣場、ZalaZone測試場等真實道路還原項目。整個流程包括：

（左）帶有標注的HD地圖、（中）裝飾HD地圖、（右）aiSim中渲染

1、數據采集

采用搭載激光雷達（LiDAR）、高精度GNSS/INS系統的測繪車（如康謀DATALynx ATX4）執行移動激光掃描（MLS），通過aiData Recorder進行錄制，主要路線至少繪制兩次，確保厘米級空間精度。

數采車示意圖

2、點云聚合

使用aiData Annotator將多幀點云拼接為統一的全局坐標系，結合反射率、時間戳等多通道信息形成高密度、低誤差的空間點集。

Tips：詳細數據采集精度和點云數據格式可聯系康謀技術團隊獲取，可接受第三方數據，但建議在采集前與我們技術團隊溝通優化策略。

3、高精地圖建模

基于聚合點云手工標注道路元素：車道線、交通標志、人行道、護欄、紅綠燈等。輸出為GeoPackage格式的HD Map，用于自動駕駛系統參考。

ZalaZone試驗場 LiDAR點云建模

ZalaZone試驗場衛星參考圖像

4、三維建模與裝飾

借助Atlas程序化建模引擎，生成道路、地形等基礎結構，再通過aiSim Unreal插件手工裝飾建筑、植被、街景設施，最大程度復現現實細節。為了獲取最大精度，康謀將會采用DCC工具，例如Maya、Blender、Substance等工具利用可用數據構建新模型；

二、顛覆性革新：NeRF 與 3DGS 重建

傳統方式固然精準，但高成本、高周期、強人工依賴，難以支撐大規模、快速迭代的測試需求。

本文分享的神經網絡重建方案，則以NeRF+ 3DGS為核心技術，實現了從真實環境到仿真世界的躍遷：

1、僅需數日，完成街景重建

相比傳統數月的手動建模，神經網絡重建只需幾天時間，就能將采集到的圖像和點云數據自動生成高保真的三維靜態場景。

在aiSim中重建Waymo場景

2、進一步消除 Domain gap，場景逼真如實地拍攝

通過DEVIANT算法驗證3D目標檢測精度、Mask2Former測量像素一致性等方式，驗證了神經重建場景在多攝像頭視角下的高可用性與仿真一致性。

請查看最新發表的論文“Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation”

3、降本增效，拒絕重復建模

方案致力于告別繁復的建模軟件與人工建模流程，實現端到端自動化構建，大幅降低人力與制作成本。

4、場景增強與標準兼容

在生成的三維場景中，可靈活添加動態對象（車輛、行人、信號燈等），并全面兼容OpenSCENARIO標準，適配多種自動駕駛測試平臺。

三、重建工作流：從采集到仿真部署

神經網絡重建方案遵循高度自動化流程：

流程圖

（1）數據采集： 使用DATALynx ATX4記錄圖像、LiDAR點云和自車位姿；推薦配置包括Hesai Pandar64、環視非魚眼攝像頭和NovAtel高精度組合導航系統。

（2）數據轉換：將原始數據轉化為康謀格式，統一處理點云、圖像和標定信息。

（3）自動標注： 利用aiData工具鏈去除動態目標、生成GT數據，實現非因果式追蹤。

環視系統自動標注

（4）神經網絡訓練： 使用NeRF/3DGS算法生成高精度三維場景。

（5）仿真部署與增強： 在aiSim仿真平臺中集成重建場景，配置不同環境（暴雨、夜晚、雪天）、多模態傳感器（攝像頭、LiDAR、毫米波雷達等）與虛擬交通流。

雨天場景

四、仿真世界，無需困于“假”

在自動駕駛技術快速發展的今天，數字孿生已從簡單的場景復制，進化為具備真實物理特性的虛擬世界。我們和眾多同行們正在見證一場仿真技術的革命：

（1）通過激光雷達的精準測繪確保厘米級精度

（2）借助3DGS/NeRF實現場景的智能重建

（3）融合傳統與創新的技術優勢

康謀致力于將傳統構建流程與前沿神經網絡重建技術相融合，用速度、真實與自動化重塑自動駕駛仿真測試的范式。