ECCV 2022 | 清華&騰訊AI Lab提出REALY: 重新思考3D人臉重建的評估方法

作者丨人臉人體重建

來源丨人臉人體重建編輯丨極市平臺

極市導讀

 

本文圍繞3D人臉重建的評估方式進行了重新的思考和探索。作者團隊通過構建新數據集RELAY，囊括了更豐富以及更高質量的臉部區域信息，并借助新的流程對先前的數十個重建算法、3DMM進行了評價。 

本文分享ECCV 2022論文《REALY: Rethinking the Evaluation of 3D Face Reconstruction》，對3D人臉重建的評估方法進行重新思考。該論文提出一個新的3D人臉重建的benchmark數據集，名為REALY benchmark，和相應的評估方法，能對于重建的3D人臉模型在不同臉部區域進行細粒度評價，并對于主流的單張照片3D人臉重建算法進行了詳細的評測。另外，該論文同時公開了一個由近2000個人臉掃描模型構建的高質量全頭模型3DMM基底：HIFI3D++，該基底相對于BFM、FWH、FaceScape、FLAME、LSFM、LYHM等3DMM基底有更強的表達能力和更高的Mesh模型質量。相關代碼和3DMM已開源。此項工作由清華大學與騰訊AI Lab合作完成。論文鏈接：https://arxiv.org/abs/2203.09729代碼鏈接：https://github.com/czh-98/REALY項目網站：https://www.realy3dface.com/

一、簡介

3D人臉重建歷經多年發展，不同的重建方案層出不窮，然而對于不同方法重建結果的定量評價卻存在明顯的問題和缺陷，即客觀指標與人的主觀感受難以相符。回顧先前的3D人臉重建評價方案，基于3D頂點的評價流程通常借助關鍵點進行scale和pose的預對齊，并通過Iterative Closest Point (ICP)算法進行微調使得predicted mesh和ground-truth scan對齊，再通過兩者的最近鄰點建立頂點的對應關系，并計算這組對應關系的NMSE/RMSE作為指標。本文首先分析這樣的評價流程存在的問題，揭示了先前的評價方案無法與主觀評價相吻合的重要原因：_即全局的剛性對齊會受到臉部局部區域重建質量的影響，并且根據單方向距離（最近鄰點）建立的對應關系無法保證頂點之間語義信息的一致性。_所以我們構建了REALY benchmark，設計了新的3D人臉重建評價方案，并對先前的模型和3DMM進行了重新的評價，驗證了我們的評價流程的合理性。此外，在構建新的benchmark的過程中，我們通過整合約2000個高質量的人臉scan數據，進行拓撲結構的統一，從而構建了一個新的具有高表達能力的3DMM，其拓撲結構、基的維度都要優于先前的3DMM，并在RGB-(D) Fitting的比較中證明其表達能力和重建效果。

二、論文動機

先前的評價方案存在以下兩個主要問題。1. ICP對齊過程對局部區域的變化比較敏感。直觀而言，對于兩個完全重合的3D mesh，如果我們只對predicted mesh的鼻子區域進行修改，理想狀況下，兩個mesh對齊結果應該如中間所示，因為其他區域在改變前后與ground-truth是完全重合的，兩者的誤差應該主要集中在鼻子區域；而根據以往的評價流程，全局對齊操作則會由于鼻子區域的變化，導致對齊后mesh整體的位置發生偏移而帶來誤差的放大。對此，本文將人臉的評估分為四個區域，分別對每一個區域進行對齊、評估，而不考慮其他區域的影響。2. 單向的最近鄰點建立的對應關系容易導致語義信息的不一致。如圖所示，對于predicted mesh上的某一點x，在計算誤差時需要找到ground-truth scan上的對應點，若通過點到平面的最近距離建立對應關系，則可能為y1。這時，雖然y1是x距離最近的點，然而他們在語義信息上沒有關聯性，與嘴角的點x相關聯的應該是y2，然而y2不會是x所對應的最近點。在這樣的情況下，雖然計算得到的誤差較小，但由于對應點之間的語義信息并不一致，因此計算得到的誤差并不靠譜，較小的誤差并不能表明較大的相似度。對此我們提出使用一步額外反方向非剛性對齊，并且其中增加了包含有語義信息的關鍵點損失，從而得到語義上更加一致的對應關系。

三、REALY

為了解決上述兩個問題，我們首先構建了一個新的benchmark，包含100個2D圖片-3D scan對，其中每個scan渲染了5個不同視角下（包含1個正臉和4個側臉）的RGB圖片及深度圖片；對于每個3D scan，我們都得到了語義信息一致的68個關鍵點以及不同臉部區域的mask，并在此基礎上首次實現了3D人臉在不同區域上的細粒度評價。我們的benchmark的部分數據如下圖所示。數據集的構建過程借助256個關鍵點進行對齊和轉拓撲，確保了統一拓撲的mesh的質量，進而保證了不同id的人臉區域的mask以及關鍵點的一致性。

四、新的評價流程

在REALY的基礎上，我們提出一個新的評價流程避免先前評價流程的問題，具體而言，我們的評價流程包含如下兩個步驟：

1. 局部區域的對齊：考慮到不同區域的重建質量會影響全局的對齊結果，由于我們的benchmark得到了不同臉部區域的mask，因此我們可以借助這個信息將predicted mesh對齊到ground-truth scan的特定區域，在error計算時只計算ground-truth scan上的特定區域與predicted mesh之間的誤差，而不考慮臉部其他區域對于對齊結果以及誤差計算的影響。

1. 對應關系的建立：在局部對齊的基礎上，我們需要建立ground-truth scan某一區域上的每一個點與predicted mesh之間的對應點并計算兩者的誤差。考慮到先前基于最近點的方式存在的問題，我們提出一個新的對應關系的建立方法，提高了關鍵點語義信息的一致性。

具體而言，我們首先通過最近點建立初步的對應關系；隨后借助non-rigid ICP將ground-truth scan某一區域變形到predicted mesh上，由于變形后的區域與predicted mesh已經貼合，因為在變形過程中考慮了具備語義信息的關鍵點損失，所以這時的對應關系相比于原始的最近點的對應關系具有更好的語義關系的一致性（如，圖3中臉部關鍵點的一致性），從而我們對初始的對應關系進行更新；最后，由于變形前后的拓撲形狀的一致性，我們能夠借助更新后的對應關系計算原始的ground-truth scan區域與局部對齊的mesh之間的最終誤差。通過本文提出的評價流程，我們能夠建立語義信息更一致的對應關系，從而提升最終評價結果的可靠性。直觀而言，如圖所示，對于ground-truth scan嘴部區域的關鍵點，我們分別比較了predicted mesh使用先前的對齊方法(gICP)，以及本文提出的基于區域的對齊方法(rICP)以及基于形變的關鍵點更新策略(bICP)在ground-truth scan上找到的對應點與真實的嘴部關鍵點的差異，可以發現，我們的方法建立的關鍵點與真實的關鍵點更加接近，因此這時的誤差最能體現真實的相似性。

五、新的人臉3DMM：HIFI3D++

在構建benchmark的過程中，我們對于一些高質量的人臉數據(Headspace, FaceScape, HIFI3D)進行了拓撲結構的統一，得到了約2000個不同性別、年齡、種族的人臉mesh，在此基礎上，我們構建了一個全頭人臉3DMM并命名為HIFI3D++，不僅包含臉部區域，還包含脖子、眼球、口腔，不同拓撲結構的比較如圖1所示。表1統計了開源的3DMM與HIFI3D++的基本信息，圖9則顯示了不同3DMM的variation，我們的RGB(-D) Fitting實驗也證明了HIFI3D++在表達能力上優于先前的3DMM。

六、實驗1. 評價方案有效性的證明

我們首先在toy數據上證明我們的評價流程相較于先前的方法的優越性。通過替換一組統一拓撲人臉的不同區域，采用不同的評價流程進行對齊和對應關系的建立，比較了不同評價流程 i) 由于對齊導致的誤差以及 ii) 建立的對應點與ground-truth真實對應點之間的誤差，結果如圖4和表2、3所示。從圖4來看，全局的對齊策略（右圖）由于局部區域的改變容易導致全局誤差的變化，而我們的對齊策略則只聚焦于特定區域（右圖），其中對角線的error map表明誤差較大的區域，而非對角線的error map的誤差較小，對應沒有發生變化的區域。從表2來看，我們的對齊結果通過ground-truth的對應點計算得到的誤差與真實的誤差更為接近，而全局的對齊策略則導致誤差與真實誤差不匹配。從表3來看，我們的對應點計算策略帶來的誤差要顯著小于全局對齊后最近點獲得的對應點。實驗結果表明，我們的評價流程不僅能夠聚焦到臉部區域有差異的部分(圖4和表2的對角線)，并且我們的對應關系建立更加準確(表3)。

2. 不同方法在REALY benchmark上的表現

我們對比了先前的評價流程與我們提出的評價流程在REALY benchmark上的表現。對于先前的評價方法，我們從兩個方向(即ground-truth scan的每個點與predicted mesh建立對應關系，以及predicted mesh每個點與ground-truth scan建立對應關系)作為對比，定量與定性的比較如表4和圖5所示。我們通過user study投****選出各組最好(*)/次好(?)的人臉，通過比較不同評價流程選出的最好的人臉(橙、藍、紫框)可以發現，我們的評價流程（橙框）選出的最好的人臉與user study的投****結果匹配程度更高。并且，我們的評價流程給出了細粒度的評測結果，即：對不同的人臉區域都能進行定量的評價和比較。

3. 不同3DMM在REALY上的表現

借助REALY benchmark，本文采用RGB(-D) Fitting的方式對不同3DMM的表達能力進行了評價，定量與定性的比較如表5和圖8所示。定量和定性的結果表明，我們的3DMM在REALY上取得了更優的重建效果，并且，通過不同方法的比較表明，RGB-D Fitting的結果要顯著優于目前最好的重建算法，3D人臉重建任務仍有很大的提升空間。為了進一步證明HIFI3D++的表達能力，我們只用頂點損失，根據最小二乘的方式擬合一組mesh，對HIFI3D/HIFI3D(A)/HIFI3D++進行比較，如圖9所示。

七、總結

本文是我們對3D人臉重建評價的重新思考和探索。針對先前的評價指標無法準確衡量重建mesh與ground-truth相似性的問題，我們構建了一個新的數據集——REALY，包含更加豐富以及高質量的臉部區域信息，并借助新的評價流程對先前的數十個重建算法、3DMM進行了評價。

本文僅做學術分享，如有侵權，請聯系刪文。

*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。