深度學習|三維重建：R-MVSNet

作者丨任乾@知乎

來源丨https://zhuanlan.zhihu.com/p/111210140

編輯丨計算機視覺工坊

這是我之前在泡泡機器人上翻譯的文章，放在這里做個備份，原文鏈接：https://www.sohu.com/a/334072786_715754

一、背景

該文章來自香港科技大學和深圳Altizure公司的研究團隊，該團隊在2018年ECCV上提出了MVSNet，用于高精度多視圖三維重建，但由于該網絡內存消耗過大，無法應用到大場景中去，因此他們又提出了R-MVSNet，引入循環神經網絡架構，以減小內存消耗。

二、摘要

深度學習已經被證明在多視圖三維重建(MVS)中可以取得很好的效果，但是，現有的基于深度學習的三維重建方法最大的限制是尺度問題，大量的內存需求導致這些方法無法被應用在大尺度場景中。在本文中，我們提出了一種基于循環神經網絡的方法R-MVSNet，以適應各種尺度的環境。與原有方法一次性構建3D代價體(cost volume)不同，該方法依序地在深度方向通過GRU單元正則化2D代價圖(cost map)。這樣就可以在顯著減小內存消耗的情況下完成高精度三維重建。我們首先展示了該方法在MVS數據集上的優秀表現，然后給出了它在大尺度數據集上的結果，在這種尺度的環境下，原有方法無法完成重建任務。開源代碼的鏈接為：https://link.zhihu.com/?target=https%3A//github.com/YoYo000/MVSNet

三、算法介紹

1. MVSNet

由于本文方法是從MVSNet改進而來，很多東西一脈相承，因此為了把本文方法說清楚，需要先簡要介紹下。它的主要貢獻包括以下三點：

1）提出了一個用于多視圖三維重建的端到端深度學習網絡。

2）提出基于單應變換的2D到3D轉換方法, 將相機的幾何關系結合到神經網絡之中。

3）提出一種基于動態的損失度量方法, 以適應不同數目的多視角圖像的輸入。

MVSNet的網絡結構如下圖所示

MVSNet先通過特征提取網絡提取圖像特征，再通過2D到3D的單應變換，把特征映射到參考圖像的可視空間中以構建代價體(cost volume)，然后使用一個多尺度的三維卷積網絡優化代價體得到三維概率空間，通過深度期望的方式得到參考圖像的初始深度圖以及對應的概率圖，最后把參考圖像及其深度圖傳入深度圖優化網絡，得到優化后的深度圖。得到深度圖便得到物體的三維模型。

2. R-MVSNet

由于MVSNet需要一次性優化所有的3D代價體，因此需要大量的內存存儲所有圖像對應的數值，當尺度大了以后，如果內存滿足不了要求，便無法再進行三維重建了。我們知道循環神經網絡可以按照一定序列處理輸入數據，因此作者把這種結構借鑒過來，順序處理輸入圖像，以達到節省內存的目的。R-MVSNet的網絡結構如下圖所示：

在R-MVSNet中，首先使用2D特征提取層提取輸入圖像的特征，再使用單應矩陣變換到參考影像的相機視錐體的正面平行面上，然后在不同深度計算代價，并經由卷積的GRU單元進行正則化，這樣就可以沿著深度方向逐漸獲取整個物體的幾何信息。

四、實驗結果

論文中方法在DTU數據集上的結果如表所示，從表中的數據可以看出，本文提出的方法要優于其他方法。

作者還給出了該方法在大尺度數據集上的效果，以體現該算法的優勢。如下圖所示

五、總結思考

MVSNet以及R-MVSNet在深度學習與多視圖幾何相結合的方法上給我們提出了新的思路，過去在三維重建或者SLAM領域有兩種方法一直在爭論，一種是直接使用端到端的方式，輸入圖像，輸出深度信息和相機外參，另一種認為深度學習沒有充分利用已有的幾何模型，棄明確模型于不顧，反而求諸于解釋性差的深度學習，不明智，因此他們主張深度學習只適合用于特征提取，在完成特征提取以后，便要用傳統多視圖幾何的方法進行后續的位姿解算工作。而本文雖然是使用端到端的方式，但是在構建網絡時，把單應矩陣也構建在內，并沒有棄模型于不顧，這樣就能夠把幾何模型與前面的特征提取融合在一個網絡中，結合二者所長。

本文僅做學術分享，如有侵權，請聯系刪文。