NeurIPS 2022 | 中山大學HCP實驗室在AIGC領域的新突破：有效表示多樣化衣物的3D神經表示模型

中山大學 HCP 實驗室聯合牛津大學 TVG 實驗室共同發表論文《Structure-Preserving 3D Modeling with Neural Sewing Machines》，該論文已被 NeurIPS 2022 接收。該工作主要由陳曦鵬、王廣潤博士等人完成。

3D 衣物建模是計算機領域的一個關鍵且具有挑戰性的任務，具體是指如何在計算機中構建一件 3D 的虛擬衣物。構建 3D 衣物具有多種實際應用，包括 3D 虛擬試衣、虛擬數字人和服裝設計。最近基于學習的衣物建模方法收到越來越多的關注，然而，現有方法多針對特定類別或相對簡單拓撲的衣物進行建模。

本文提出了 Neural Sewing Machine (NSM)，一種新穎的保持 3D 衣物結構的學習框架，可以有效表示多樣化形狀和拓撲結構的 3D 衣物，并應用于 3D 衣物表征，3D 衣物重建和可控衣物編輯。

論文鏈接: https://arxiv.org/abs/2211.06701

背景

目前基于學習的方法要么使用固定的 3D 網格模板，將衣物表示為 SMPL 模型上的位移，或是借助人體的 UV 參數化來表示衣物。這些方法主要針對特定的衣物類別，或是拓撲結構相對簡單的衣物進行建模。那么是否存在一個模型可以表達不同種類且形狀各異的衣物呢？

縫紉紙樣（sewing pattern）是衣物建模和生產中廣泛使用的一種結構。縫紉紙樣由一組 2D 面板以及面板間的縫合信息組成。例如，一條裙子的縫紉紙樣有 4 個 2D 面板（panel）。每個面板對應于 3D 衣物的一部分。使用縫紉紙樣來建模 3D 衣物可帶來以下好處：

• 首先，可以表達各種不同類別和形狀的衣物

• 其次，描述了 3D 衣物的內在結構

• 最后，提供了衣物的 UV 參數化

模型

本文提出了 Neural Sewing Machine（NSM），一種保持 3D 衣物結構的學習框架，能夠學習不同形狀和拓撲的衣物的表示，主要由以下三個模塊組成：

1）縫紉紙樣編碼模塊能夠將不同衣物類別的縫紉紙樣編碼到一個低維空間中。一件衣物可以分解為幾個基本部分，例如，一件夾克可以由帽子、袖子和背心部位組成。因此可以將衣服拆解成幾個基本的部件類別，并為每種類別計算一個 PCA 子空間。通過拼接這些類別的 PCA 系數來獲得縫紉紙樣的特征編碼。

2）3D 衣物預測模塊負責從縫紉紙樣的特征編碼中解碼出 3D 衣物。本文引入了帶有掩模的 UV 位置圖（UV position maps with masks）來表示一件 3D 的衣物。具體來說，UV 位置圖將衣物的 3D 坐標存儲在縫紉紙樣每一個面板的 UV 坐標處，而掩模圖表示了縫紉紙樣每一個面板的形狀。其中 UV 位置圖是通過一個 CNN ****預測得到，而預測的掩模圖通過 inverse PCA 解碼獲得。

3）為了保持 3D 衣物的內在結構，本文在框架的訓練中引入了四個損失函數: (a)3D 重建損失約束了預測的 UV 位置圖和 3D 標簽相同。(b)面板內結構保護損失約束了縫紉紙樣與對應的 3D 衣物在局部的拉伸保持一致。(c)面板間結構保護損失將 3D 空間中兩個鄰接面板的邊緣縫合在一起。(d)表面法線損失約束了預測的 3D 衣物應具有與 3D 標簽相同的表面法線向量。

實驗

實驗表明了我們的框架能夠表示不同的形狀和拓撲結構下的 3D 衣物。同時，我們驗證了基于單張圖像的 3D 衣物重建任務，可以看到我們的方法有助于保持衣物的細節結構。我們還展示了可控的衣物編輯，通過在縫紉紙樣上進行編輯來顯著改變衣物的 3D 形狀或是將衣物從一個類別變換到另一個類別。

消融實驗驗證了我們框架中每個組件的有效性。我們還展示了在縫紉紙樣的特征編碼上插值的結果。可以看到，2D 縫紉紙樣和 3D 衣物的變化是一致的。最后，我們展示了方法對真實場景具備一定的泛化能力，盡管我們的框架僅在合成數據進行訓練，合成數據與真實場景之間存在域差距，但結果證實了我們方法的具備一定的泛化能力。

實驗室簡介

中山大學人機物智能融合實驗室 (HCP Lab) 由林倞教授于 2010 年創辦，圍繞人工智能前沿技術布局研究課題，獲得中國圖像圖形學會科技一等獎、吳文俊自然科學獎、省級自然科學一等獎等榮譽；培養了梁小丹、王可澤等國家級青年人才。