arXiv最新NeRF文章 l Blended-NeRF：混合神經輻射場中的零樣本物體生成和混合

Blended-NeRF是一個強大而靈活的框架，用于編輯NeRF場景中的特定興趣區域。該框架利用預訓練的語言-圖像模型和現有NeRF場景上初始化的3D MLP模型，根據文本提示或圖像塊合成并混合對象到原始場景中的指定區域。使用3D ROI框實現局部編輯，并通過體積混合技術將合成內容與現有場景融合。為了獲得逼真且一致的結果，該框架使用幾何先驗和3D增強技術提高視覺保真度。在定性和定量測試中，Blended-NeRF展示了比基準方法更大的靈活性和多樣性的逼真多視圖一致結果。此外，該框架適用于多種3D編輯應用。

近年來，在神經隱式表示領域取得了重要的進展，特別是對于3D場景的隱式表示。NeRFs是一種基于MLP的神經模型，可以通過體積渲染從有限數量的觀測生成高質量的圖像。然而，編輯NeRF表示的場景是具有挑戰性的，因為場景是以隱式方式編碼的，而不是以顯式方式表示。此外，在NeRF表示的場景中混合新對象也是具有挑戰性的，需要在隱式表示的基礎上保持多個視角之間的一致性。與在圖像中進行局部編輯不同，現有的方法主要集中在局部部分的移除、顏色變化和形狀轉移等簡單操作上。本文提出了一種基于ROI的NeRF場景編輯方法，通過文本提示或圖像修補來引導。該方法具有通用性，可以應用于任何實際場景中的任何區域，并生成自然且與現有場景無縫融合的結果。為了實現局部編輯，我們利用預訓練的語言-圖像模型和現有的NeRF模型，結合深度信息和體積混合方法，實現了對指定區域的編輯。為了獲得更逼真、自然且一致的結果，我們還引入了增強和先驗，如深度正則化、姿態采樣和方向依賴的提示。經過廣泛的實驗驗證，我們的方法在各種真實3D場景的編輯應用中取得了良好的效果。

神經隱式表示在計算機視覺和圖形學領域中得到了廣泛的應用，包括2D和3D。其優點之一是能夠捕捉復雜多樣的模式，并提供底層場景的連續表示。與高分辨率2D圖像的顯式表示，或者3D中的網格和點云相比，神經隱式表示具有獨立于分辨率的緊湊性。NeRFs通過多層感知機(MLP)的權重學習將3D場景表示為連續體積和輻射場。給定3D位置

*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。