CVPR 2022 | 實時渲染、可直接編輯，中科大提出高保真人頭參數化模型HeadNeRF

《黑客帝國: 覺醒》演示中的靈魂發問：當我們打造出的世界和我們自己的世界同等真實時，那現實到底意味著什么？

還記得去年 12 月，美國電子游戲與軟件開發公司 Epic 發布的基于自家虛幻 5 打造的《黑客帝國: 覺醒》的演示嗎？Demo 中所展示的主演人物的毛孔毛發級高真實感建模，著實讓人驚嘆 Epic 的強大技術能力。

據悉，以上演示 Demo 中的人物形象是由 Epic 名下的 MetaHuman Creator 創建生成，該應用可以讓用戶自由編輯調整目標數字形象的各種面部特征和皮膚細節，甚至于精確編輯調整發型、眼型、妝容等各個局部語義屬性，且調整結果具有超逼真的顯示渲染效果。

可以說，MetaHumane Creator 在高保真數字人創建與渲染效果方面確立了一個新的標桿。
不過略有瑕疵的是，盡管 MetaHuman 構建的虛擬數字人呈現了超逼真的成像渲染效果，但當我們刻意去觀察其合成結果時，卻總能發現結果有不夠真實的地方。如下圖所示。

上述所談到的不真實感可能是由 MetaHuman 的渲染假設導致的。具體來說，隨著圖形相關研究技術的發展，該領域其實是在不斷修正三維模型的光照渲染模型的，在該過程中也是提出多種三維光照類型，如朗伯光照模型，Phong 光照模型以及 BRDF 光照模型等。然而，由于真實世界的復雜性，這些假設的渲染模型仍是不可避免的會與真實物理世界的渲染存在差異，從而導致相關渲染結果不夠真實。
近期，一種新的渲染模型，即最近廣為關注的神經輻射場體渲染模型(Neural Radiance Field，縮寫 NeRF)，有打破上述各種假設枷鎖的趨勢，以下為一些 NeRF 相關工作的渲染效果。可以發現 NeRF 具有照片級的渲染精度，渲染結果亦具有 GAN 等二維生成模型所不具備的多視角一致性，更是能對玻璃、火焰、液體等進行統一表示。

NeRF 通過神經渲染與神經隱式表示來自適應地學習適合目標渲染對象的渲染方式，這使得 NeRF 相關的渲染假設少于上述傳統的渲染方法，從而使得 NeRF 的渲染邏輯與真實世界的渲染更加貼合。
高保真人頭參數化模型 HeadNeRF，可創建與編輯高保真數字人
基于上述觀察，來自中科大張舉勇教授課題組提出了 HeadNeRF，一種基于 NeRF 的高效全息人臉頭部參數化模型，該工作發表于 CVPR 2022，相關代碼已開源。

• 論文地址：https://arxiv.org/pdf/2112.05637.pdf

• 項目主頁: https://crishy1995.github.io/HeadNeRF-Project/

• 代碼鏈接: https://github.com/CrisHY1995/headnerf

HeadNeRF
效果上，HeadNeRF 可以實時地渲染高清圖像級別的人臉頭部，且支持直接編輯調整渲染結果的多種語義屬性，如身份、表情以及顏色外觀等。得益于 NeRF 結構的引入，HeadNeRF 也支持直接編輯調整渲染對象的渲染視角，同時不同視角的渲染結果具有優秀的渲染一致性。相關編輯效果如下所示：

HeadNeRF: 高幀率版

HeadNeRF: 高質量版
方法介紹
HeadNeRF 的 Motivation 在于，NeRF 本身可看作一種三維表示，盡管 NeRF 沒有顯式地重建目標場景的幾何信息，但其本身通過預測場景的輻射場其實隱式地編碼了目標場景的幾何結構。進而使得，針對渲染任務，NeRF 一定程度上可以等價甚至優于傳統的紋理材質網格。且由于 NeRF 是完全基于神經網絡的，因此 NeRF 的渲染過程是天然可微的，而其他傳統的幾何表示，如三維網格，點云，體素等則往往需要各種近似策略來緩解相關表示的渲染不可微問題，與之對應的參數化表示工作往往則需要收集并處理大量的三維掃描數據。相對的，HeadNeRF 的構建過程只需要二維人臉圖片。
HeadNeRF 的表示可概述如下:

這里P表示相機參數，z_{*}分別表示身份、表情、反照率和光照相關的語義向量。R表示HeadNeRF的渲染成像過程，I則為HeadNeRF根據上述輸入參數渲染生成的人臉頭部圖片。HeadNeRF的算法流程圖如下所示：
HeadNeRF-Pipeline
HeadNeRF 的表示過程整體上通過 conditional-NeRF 實現。訓練方面，該研究則通過收集了三個大規模人臉頭部圖片數據集，并基于這些數據設計有效的 Loss 函數來使得 HeadNeRF 可以語義解耦地編輯渲染結果的各種語義屬性。此外，該研究也將 NeRF 體渲染與 2D 神經渲染相結合，以加速 NeRF 渲染速度。
具體而言，代替直接渲染高分辨的人臉頭部圖片，HeadNeRF先是基于 NeRF 的體渲染管線生成低分辨率、高通道數的特征圖(Feature Map)，接著使用特殊設計的 2D 神經渲染網絡層，逐步對上述特征圖進行神經上采樣，進而輸出最終的預測結果。該 2D 神經渲染模塊的引入大幅度提升了原始 NeRF 體渲染的渲染速度，且同時很好地保持了 NeRF 隱式編碼的幾何結構。如下圖所示，針對給定的語義參數組合，連續地編輯調整 HeadNeRF 的渲染視角、相機距離以及相機視野(FoV)，其相應地生成結果保持了優秀的渲染一致性，這進一步驗證了 HeadNeRF 中 2D 神經渲染模塊的有效性。
編輯渲染視角

編輯相機距離和 FoV
此外，2D 神經渲染模塊的引入也有效改善了 NeRF 的渲染效率，從而讓 HeadNeRF 可以在一般的顯卡設備上單次前饋計算獲得目標渲染圖片的所有像素預測結果。因此，HeadNeRF在 NeRF 的 Photometric Loss 的基礎上，額外地使用 Perceptual Loss來監督模型訓練。如下圖所示，Perceptual Loss 這種全局Instance類型的監督Loss有效提升了 HeadNeRF 渲染結果的渲染細節。
關于 Perceptual Loss 的消融實驗
在訓練 HeadNeRF 的過程中，該研究也借助 In-the-wild 的單視角數據集 (FFHQ) 來進一步增強 HeadNeRF 的表示能力和泛化能力。得益于所設計的訓練策略，HeadNeRF 可以同時使用來自不同渠道、不同類型的人臉數據來訓練參數化模型。其中，多人多表情 (多光照) 多視角的人臉頭部數據使得 HeadNeRF 可以學習人臉頭部的幾何形狀先驗、視角一致先驗以及語義解耦先驗。另一方面，In-the-wild 的單視角數據則讓 HeadNeRF 在訓練過程中感知更多的身份、表情以及渲染風格類別，從而有效增強其表示、泛化能力。如下圖所示，單視角數據集的引入有效提升了 HeadNeRF 的擬合能力，多人多表情多視角 (多光照) 數據集提供的相關先驗則使 HeadNeRF 可以進一步解耦地編輯調整擬合結果的各個語義屬性和渲染視角。
FFHQ 單視角數據的引入有效增強了 HeadNeRF 的泛化擬合能力
以下展示了 HeadNeRF 關于更多人臉頭部圖片的擬合結果，這些圖片均來自 In-the-wild 的采集環境，且完全沒有參與 HeadNeRF 模型的訓練構建。可以發現 HeadNeRF 對于圖中展示的多類型數據均可進行有效擬合。這一定程度也驗證了 HeadNeRF 的表達能力和泛化能力。

得益于 HeadNeRF 高質量的渲染精度、優秀的解耦能力以及實時的渲染速度, 研究者可以基于 HeadNeRF 設計多種相關應用。如通過訓練所獲得的 HeadNeRF 模型，可提取輸入視頻的 HeadNeRF 表情參數序列以及目標圖像的 HeadNeRF 表示參數，并進一步的將目標圖像的表情參數替換為視頻的表情參數，從而實現用視頻中的表情來驅動目標圖像。相關結果如下所示
基于 HeadNeRF 的表情遷移應用
更多結果和介紹，請參考 HeadNeRF 的項目主頁與文章 。
該研究相信，基于 NeRF 的數字人技術還將進一步演化，在不遠的將來，關于《黑客帝國: 覺醒》演示中的靈魂發問將變成現實。

參考鏈接 ：https://github.com/CrisHY1995/HeadNeRFonDigitalHuman