R3LIVE：一個實時魯棒、帶有RGB顏色信息的激光雷達-慣性-視覺緊耦合系統（2）

B. Frame-to-map Visual-Inertial odometry

我們還考慮了 γs 和 cs 的測量噪聲：

結合(19)、(20)和(21)，我們得到真零殘差的一階泰勒展開式：

2）Frame-to-map VIO ESIKF更新：方程（22）構成了的另一個觀測分布，它與來自IMU傳播的先驗分布相結合，得到的最大后驗（MAP）估計：

然后，我們執行類似于（17）和（18）的狀態更新。這個幀到地圖 VIO ESIKF 更新（第 V-B1 部分到第 V-B2 部分）被迭代直到收斂。然后將收斂狀態估計用于：(1) 渲染地圖的紋理（第 V-C 部分）；(2) 更新當前跟蹤點集 P 以供下一幀使用（Section V-D）；(3) 在 LIO 或 VIO 更新的下一幀中作為 IMU 傳播的起點

C. 渲染全局貼圖的紋理

在frame-to-map VIO更新之后，我們有了當前圖像的精確位姿，然后我們執行渲染函數來更新地圖點的顏色。

D. Update of the tracking points of VIO subsystem

紋理渲染完成后，我們對跟蹤點集 P 進行更新。不落入Ik。其次，我們將 ζ 中的每個點投影到當前圖像 Ik，如果附近沒有其他跟蹤點（例如在 50 個像素的半徑內），則將其添加到 P。

VI. 實驗與結果分析

A．Equipment setup

the onboard DJI manifold-2c5 computation platform (equipped with an Intel i7-8550u CPU and 8 GB RAM), a FLIR Blackfly BFS-u3-13y3c global shutter camera, and a LiVOX AVIA6 LiDAR. The FoV of the camera is 82.9°*66.5°, while the FoV of the LiDAR is 70.4°* 77.2°.

B. Experiment-1: Robustness evaluation in simultaneously LiDAR degenerated and visual texture-less environments

如圖 7 所示，我們的傳感器穿過狹窄的“T”形通道，同時偶爾面對側壁。當面對僅施加單個平面約束的墻壁時，眾所周知，LiDAR 對于完整姿態估計會退化。同時，白色墻壁上的視覺紋理非常有限（圖 7（a）和圖 7（c）），尤其是墻壁，它只有光照變化。這種場景對于基于 LiDAR 和基于視覺的 SLAM 方法都具有挑戰性。

圖 8 顯示了我們估計的姿勢，通過“wall-1”和“wall-2”的階段分別用藍色和黃色陰影表示。估計的協方差也顯示在圖 8 中，它在整個估計軌跡上有界，表明我們的估計質量在整個過程中是穩定的。傳感器移動到起始點，在那里使用 ArUco 標記板獲取起始和結束姿勢之間的真實相對姿勢。與地面真實端位姿相比，我們的算法旋轉漂移 1.62°，平移漂移 4.57 厘米。

C. Experiment-2: High precision mapping large-scale indoor & outdoor urban environment

我們在香港科技大學 (HKUST) 校園內以不同的行駛軌跡（即 Traj 1-4）收集了 4 次數據，它們的總長度分別為 1317、1524、1372 和 1191 米。這些軌跡的鳥瞰圖（即在 X′Y 平面上的投影）如圖 10 所示，它們的高度變化如圖 11 所示。沒有任何額外的處理（例如閉環），所有這四個軌跡都可以閉環（見圖9（e））。使用放置在起點的 ArUco 標記板，里程計漂移如表 II 所示，這表明我們提出的方法具有高精度，在長軌跡和復雜環境中漂移很小。最后，我們在圖 9 中的“Traj-1”中展示了重建的地圖。項目頁面上提供了更多可視化結果。

D. Experiment-3: Quantitative evaluation of precision using D-GPS RTK

我們將 R3LIVE 估計的軌跡與兩種不同的配置（“R3LIVE-HiRES”和“R3LIVERT”，見表 III）、“LVI-SAM”（為 Livox Avia LiDAR 修改其 LiDAR 前端）、“R2LIVE”進行比較 [12]、“VINSMono”（IMU+相機）[26]、“Fast-LIO2”（IMU+LiDAR）[22] 與圖 12 中的真實情況，我們可以看到我們估計的軌跡最符合 兩個序列中的真實情況。為了進行更多的定量比較，我們計算了所有可能的長度為 (50,100,150,...,300) 米的子序列的相對旋轉誤差 (RPE) 和相對平移誤差 (RTE) [27]，如表 III 所示。

E. Run time analysis

我們調查了我們系統在兩個不同平臺上的所有實驗的平均時間消耗：臺式機（具有 Intel i7-9700K CPU 和 32GB RAM）和無人機機載計算機（“OB”，具有 Intel i7-8550u CPU 和 8GB 內存）。詳細統計數據列于表四。我們的 VIO 子系統的時間消耗受兩個主要設置的影響：圖像分辨率和點云圖分辨率（“Pt res”）。

VII. 應用

A. Mesh reconstruction and texturing

在 R3LIVE 實時重建彩色 3D 地圖的同時，我們還開發了軟件實用程序來離線對重建的地圖進行網格劃分和紋理化（見圖 13）。對于網格劃分，我們使用了在 CGAL [29] 中實現的 Delaunay 三角剖分和圖切割 [28]。網格構建后，我們使用頂點顏色對網格進行紋理化，由我們的 VIO 子系統渲染。

我們開發的實用程序還可以將 R3LIVE 的彩色點圖或離線網格圖導出為常用的文件格式，如“pcd”、“ply”、“obj”等。因此，R3LIVE 重建的地圖可以通過 各種 3D 軟件，包括但不限于 CloudCompare [30]、Meshlab [31]、AutoDesk 3ds Max 等。

B. Toward various of 3D applications

借助開發的軟件實用程序，我們可以將重建的 3D 地圖導出到 Unreal Engine 19 以啟用一系列 3D 應用程序。例如，在圖 14 中，我們使用 AirSim [32] 構建了汽車和無人機模擬器，在圖 15 中，我們使用重建的地圖為臺式 PC 和移動平臺開發視頻游戲。有關我們演示的更多詳細信息，我們建議讀者在 YoutuBe 上觀看我們的視頻。