ICCV2021|一種用于解決點云場景中同類對象分割的網絡

首次提出：一種用于解決點云場景中同類對象分割的端到端網絡

融合協同對比學習和相互注意采樣機制進行無監督點云對象的同類分割

Unsupervised Point Cloud Object Co-segmentation by Co-contrastive Learning and Mutual Attention Sampling

代碼地址：https://github.com/jimmy15923/unsup_point_coseg

在本文中作者提出了一項新的點云問題，點云同類對象分割，即分割一組場景點云中的同類3D 對象（可以看作是一個二類（前景、背景）分割問題）。作者將此任務定義為一個對象點采樣問題，并通過相互注意模塊和共同對比學習機制實現它。所提出的方法采用基于神經網絡的兩點采樣器，即對象采樣器和背景采樣器。其中前者針對常見物體的采樣，而后者則專注于其他物體。相互注意模塊探索點云之間的逐點相關性。它嵌入在兩個采樣器中，可以從其他采樣器中識別出具有強行跨越云相關性的點。在為兩個采樣器選擇的點提取特征后，繼續通過開發協同對比損失函數來優化網絡，這樣可以最小化估計對象點之間的特征差異，同時最大差異化估計對象和背景點之間的特征。該方法適用于任意對象類的點云。它是端到端可訓練的，不需要點級注釋。通過在 ScanObjectNN 和 S3DIS 數據集上進行評估，并取得了有潛力的結果。本文主要貢獻如下：

1）首次嘗試為點云同類對象分割開發端到端的可訓練網絡。

2）其次，將點云同類對象分割定義為采樣任務，由提出的相互注意模塊和共同對比學習機制來完成最終采樣。

3）第三，作者的方法在兩個真實數據集上進行了評估，并展示網絡的潛力。

圖1 無監督點云同類對象分割方法概述。該方法的輸入是一組覆蓋公共類別對象的點云（如本例中的椅子）。同時該方法只需要 3D 坐標作為輸入。

1、目前存在的問題

基于深度學習的點云分割方法大量依賴于帶有點級注釋的訓練數據。訓練數據收集的高注釋成本阻礙了點云分割的效率。

在2D 圖像同類對象分割問題中，可以在沒有附加注釋的情況下分割一組圖像中的常見對象。極大的降低了標注成本。然而，如果直接將 2D 圖像同類對象分割技術應用于3D點云是具有挑戰性的，因為它必須解決三個主要問題。

第一，大多數圖像分割方法依賴于目標提議生成器或顯著性檢測器。這些生成器和檢測器適用于圖像像素，但不適用于 3D 點的空間幾何。

第二，與圖像相比，點云是無序和非結構化的。提取的點特征通常不足以進行同類對象分割。

第三，大多數 2D 同類對象分割方法采用預先在大型數據集上進行預訓練的方式，例如 用ImageNet提取高級語義特征。

如圖 1 所示，該方法主要包括三個模塊，分別用于解決上述三個問題。

首先，作者將點云同類對象分割作為一個對象點采樣問題處理。采用了一對點采樣器：對象采樣器針對屬于常見對象的采樣點，而背景采樣器則抓取其余的采樣點。其中，對象和背景采樣器都是在SampleNet網絡上開發。

其次，作者開發了一個相互注意模塊來探索不同點云之間的逐點相關性，并嵌入到兩個采樣器中使用。識別給定圖像或點云中的常見 2D 像素或 3D 點是同類對象分割的關鍵部分。為此，該模塊計算跨點云的注意力圖并編譯用于共同分割的信息特征。實驗證明，此模塊的采樣器可實現更好的前景-背景分離。

第三，開發了一種對比損失函數來解決缺乏預訓練數據和缺乏用于共同分割的監督信號的問題。通過最小化對象采樣器采樣的點的特征差異，同時最大化不同采樣器選擇的點之間的特征差異。作者使用這種損失函數來推導出采樣器及其相關的相互注意模塊。

2、核心方法

圖2方法概述。網絡架構由兩個相互注意模塊的采樣器 So 和 Sb 以及一個特征提取器 f 組成。

1）問題描述：

針對一組覆蓋未知類別對象的N個點云D。假設每個云中的點數為 M，點云同類對象分割就是要發現包含屬于每個公共對象的所有點的子集。請注意，這里既沒有提供點級注釋，也沒有提供點云級注釋。并且只使用幾何特征（沒有任何 RGB 信息）。圖 2是所提出方法的框架。

圖 3 中給出了關于相互注意模塊如何嵌入到采樣器 So 和 Sb 中的詳細過程。它的作用是估計跨點云、逐點的相互相關性，然后在采樣期間將其考慮在內。

圖3相互注意模塊的架構

2）物體與背景采樣：

這里作者將點云對象分割定義為前景點采樣問題。基于最近的研究提出了點云采樣的可微松弛。于是作者在 SampleNet 上開發了對象采樣器 So 和背景采樣器 Sb。具體來說，為了在點云上實現共同分割，作者對 SampleNet 進行了三項修改，包括下游任務、成對競爭采樣器和跨點云注意機制。

其中下游任務是無監督的同類對象分割。由于缺乏數據注釋，作者開發了無監督的協同對比損失，用來優化采樣器。模型中的特征提取器 f 來為每個采樣點生成特征。

對于共同分割，目標就是將前景點與其他點分開。為此，作者使用對象采樣器 So 和背景采樣器 Sb分別為每個點云 P推斷前景子集On和背景子集Bn。通過使用對比損失函數，采樣器 So 和 Sb 分別傾向于收集前景和背景點。為了進一步防止兩個采樣器選擇相同的點，作者還將排斥損失函整合到采樣器訓練中，即

其中dc是Chamfer距離，超參數σ=1控制分離余量。

3）相互注意模型：

受現有方法可以在非本地操作下完成捕獲遠程依賴項的自注意力模塊的啟發，作者開發了一個相互注意模塊來發現跨點云點的相關性。與探索圖像內位置相關性的自注意力模塊相比，圖3中所示的相互注意力模塊側重于小量級中點云之間的相互點相關性。如圖 3 所示，作者還引入了殘差學習以獲得更好的性能。

4）共同對比損失：

對比性學習近年來已經被研究用于無監督的表征學習。因此為了實現了在點云內部和點云之間的對比學習，作者分別在點和對象兩個層面上實現。對比學習的訓練數據通過增強的方式從一個數據實例中生成。

其中點對比損失函數為：

其中成對相似度是通過使用內積來衡量，N 是給定點云的數量

目標對比損失函數為：

在對象層面，一個數據對是由不同的點云創建的。此外，該部分還被用于共同分割，因此，作者將由此產生的目標函數命名為對比損失。

實驗環節：

數據集：

由于點云對象共分割是一項新任務，因此還沒有可用于評估的基準數據集。作者暫時采用的ScanObjectNN 和 S3DIS。

表1在具有不同監督級別和設置的不同方法在 ScanObjectNN 的 OBJ BG 測試集上的分割結果 (mIoU)。100%、10% 和 1pt 分別表示用 100%、10% 和每個對象類別的單個標記點訓練的方法。

考慮到本文是第一個用于點云同類對象分割的方法，暫時沒有同類的方法進行性能對比。實驗環節采用與三種不同監督設置的點云對象分割方法進行比較。具體來說，首先，比較了點云分割的全監督方法，并將它們作為性能上限的參考。其次，比較了兩種最新的弱監督分割方法。他們的目標是使用部分點級標簽（point-level labels）或云級標簽（cloud-level labels）作為弱注釋形式來分割 3D 對象。第三，比較了最新的形狀共同分割方法 AdaCoSeg。

表2 ScanObjectNN 數據集上不同變體的分割結果 (mIoU)。

表3 S3DIS 數據集上的分割結果 (mIoU)

表4 ScanObjectNN 數據集的定性結果。從左到右，從上到下，分別是包、床、垃圾桶、椅子、門、枕頭、架子、水槽、沙發和桌子。對于每個示例，作者展示了輸入云、真實標簽和分割結果。

表5 S3DIS 數據集的定性結果。作者展示了五個對象類的示例：從上到下分別為書柜、椅子、門、沙發和桌子，每個類有兩個示例。對于每個例子，展示了輸入點云、真實標簽和分割結果

作者除了評估分割方法本身的效果之外，還對分割結果嵌入到背景感知網絡background-aware network (BGA)進行分類效果的評價。表 5 顯示使用偽標簽進行訓練可以提高分類準確率。

表 5：ScanObjectNN PB_T50_RS數據上的準確度(%)

總結：

本文提出了一個點云新問題，即點云同類對象分割問題，并提出了一種無需使用昂貴注釋成本即可解決該問題的方法。此外，作者還證明了該方法可以提供偽標簽以改善現實世界數據集中的對象分類性能。