最新開源：BundleTrack - 無需任何CAD模型的6D物體姿態跟蹤算法

最近，谷歌X的實習生Bowen Wen新開源了用于6D物體姿態跟蹤的代碼BundleTrack，該工作已經被今年的IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS)錄用。其中Bowen Wen為該論文唯一學生作者，此前也是se(3)-TrackNet的第一作者（目前state of art的基于CAD模型的6D姿態跟蹤算法），目前為美國Rutgers大學的在讀博士，過去幾年曾在Facebook Reality Labs, 亞馬遜和商湯科技實習。

以下是新開源代碼相關的論文、視頻、代碼、作者個人主頁等信息

論文名稱：BundleTrack: 6D Pose Tracking for Novel Objects without Instance orCategory-Level 3D Models

論文下載：

https://arxiv.org/pdf/2108.00516.pdf

代碼鏈接：

https://github.com/wenbowen123/BundleTrack

作者Github主頁：

https://github.com/wenbowen123 

貢獻

該開源項目主要貢獻如下

1.  一個全新的6D物體姿態算法，不需要實例或類級別的CAD模型用于訓練或測試階段。該算法可立即用于新穎物體的6D姿態跟蹤

2.  在NOCS數據集上的創下全新記錄，將以往的表現從33.3%大幅度提升到87.4%。在YCBInEOAT數據集上也達到了跟目前基于CAD模型的領先方法se(3)-TrackNet相近的表現。特別值得注意的是，與以往state of art的6D物體姿態跟蹤方法相比，BundleTrack并不需要類級別的物體進行訓練，也不需要測試階段物體的CAD模型作模板匹配，減少了很多假設。

3.  首次將具有記憶功能的位姿圖優化引入6D物體姿態跟蹤。除了相鄰幀的匹配還能夠借助帶記憶功能的歷史幀解決特征匹配不足和跟蹤漂移問題。

4.  高效的CUDA編碼，使得本來計算量龐大的位姿優化圖能在線實時運行，達到10Hz。足夠用于AR/VR，視覺反饋控制操縱，物體級SLAM或動態場景下的 SLAM等。

問題設置

對于需要6D跟蹤的物體，該方法不需要任何類級別的CAD模型或者當前物體的CAD模型。所需要的輸入只有（1）RGBD視頻；（2）初始掩碼，用于指定需要跟蹤的物體。該掩碼可以通過多種途徑獲得，例如語義分割，3D點云分割聚類，平面移除等等。該方法就能輸出跟蹤物體在相機前相對初始的6D姿態變換。

方法

1）總覽

本文所提出的 BundleTrack 框架的概述如圖. 當前觀察到的 RGB-D 幀

*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。