3D實(shí)例分割

3D實(shí)例分割

3D語(yǔ)義分割區(qū)分場(chǎng)景中各類對(duì)象，3D實(shí)例分割區(qū)分場(chǎng)景中各類別中的各種個(gè)體。近兩年來(lái)，3D實(shí)例分割的關(guān)注度越來(lái)越高，相應(yīng)的方法也被接連提出。眾多方法的思想主要分為兩類：基于候選區(qū)域的實(shí)例分割（proposal-based）和免候選區(qū)域的實(shí)例分割（proposal-free）。其中，proposal-based先獲取場(chǎng)景中的感興趣的候選區(qū)域，如：3D bounding boxes等，并在候選區(qū)域內(nèi)對(duì)3D數(shù)據(jù)進(jìn)一步預(yù)測(cè)得到實(shí)例標(biāo)簽。考慮到proposal-based 實(shí)例分割通常需要2個(gè)過(guò)程（先得到候選區(qū)域，再實(shí)例分割），分割過(guò)程繁瑣，則proposal-free則摒棄了基于候選區(qū)域的方式，直接通過(guò)數(shù)據(jù)特征或者結(jié)合語(yǔ)義分割結(jié)果，得到實(shí)例分割結(jié)果。下面根據(jù)這兩個(gè)方向總結(jié)現(xiàn)有的實(shí)例分割方法。

（一）   proposal-based

[1] GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud _ Li Yi

本文思路：

先通過(guò)GSPN得到目標(biāo)候選區(qū)域（object proposal），在利用R-PointNet 細(xì)化proposal得到實(shí)例分割結(jié)果。

創(chuàng)新點(diǎn)：

GSP&R-PointNet

介紹：

一種得到候選區(qū)域的辦法就是簡(jiǎn)單估計(jì)物體的近似幾何形狀，比如3D bounding boxes，但是bounding boxes不太需要對(duì)底層對(duì)象的幾何結(jié)構(gòu)有很強(qiáng)的的理解，這可能導(dǎo)致boxes中包含了多物體或者單個(gè)物體的部分，本文采用analysis-by-synthesis策略，從含有噪音的場(chǎng)景中重建出外形得到 object proposals。另外，R-PointNet很像2D圖像領(lǐng)域的Mask-RCNN，包含了候選區(qū)域提取和候選區(qū)域分類， R-PointNet能直接處理點(diǎn)云數(shù)據(jù)并給予目標(biāo)候選區(qū)域得到實(shí)例標(biāo)簽。

[2] SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation _ Weiyue Wang

本文思路：

通過(guò)計(jì)算點(diǎn)云的相似矩陣（similarity matrix）和對(duì)應(yīng)的置信值（confidence map）得到候選區(qū)域（group proposals），并結(jié)合語(yǔ)義分割結(jié)果得到實(shí)例標(biāo)簽

創(chuàng)新點(diǎn)：

新的候選區(qū)域方法（similarity matrix + confidence map）

介紹：

本網(wǎng)絡(luò)利用PointNet/PointNet++來(lái)提取點(diǎn)云的特征，然后在這些點(diǎn)云特征上操作分類，后端有三個(gè)模塊：similarity matrix， confidence map 和sematic map，三者的作用不用。其中，similarity matrix 的作用是計(jì)算group proposals 直接獲取精確的實(shí)例分割結(jié)果，confidence map即置信區(qū)間，加入置信值，起到優(yōu)化的作用；semantic map 的作用是充當(dāng)逐點(diǎn)分類器的作用。

[3] 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans _ Ji Hou

本文思路：

先目標(biāo)檢測(cè)得到proposal，再在propoasl中mask prediction得到實(shí)例分割結(jié)果

創(chuàng)新點(diǎn)：

結(jié)合了2D和3D數(shù)據(jù)的特征，框架新穎。

介紹：本文思想比較簡(jiǎn)單。通過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)RGB和點(diǎn)云特征（這里的點(diǎn)云是通過(guò)RGBD中的深度信息恢復(fù)得到，并不是雷達(dá)點(diǎn)云），將通過(guò)2D卷積網(wǎng)絡(luò)提取得到2D特征，反投影到對(duì)應(yīng)的3D場(chǎng)景網(wǎng)格上，2D和3D特征的融合能夠很大程度上提高proposal 獲取的精度。在proposal中進(jìn)一步預(yù)測(cè)得到實(shí)例標(biāo)簽。

[4] Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds _ Bo Yang

本文思路：

先獲bounding box，再mask prediction

創(chuàng)新點(diǎn)：

計(jì)算效率高

介紹:

本文提出了3D-BoNet網(wǎng)絡(luò)，遵循了逐點(diǎn)的多層感知機(jī)的簡(jiǎn)單基本原理，該網(wǎng)絡(luò)對(duì)所有實(shí)例個(gè)體進(jìn)行3D bounding box的回歸， 同時(shí)對(duì)每個(gè)實(shí)例個(gè)體的點(diǎn)云進(jìn)行逐點(diǎn)mask預(yù)測(cè)。本網(wǎng)絡(luò)包括兩個(gè)并行的網(wǎng)絡(luò)，1）邊界框回歸和2）點(diǎn)云mask預(yù)測(cè)。亮點(diǎn)就是計(jì)算效率高，不需要任何的后處理過(guò)程。（這個(gè)論文思想就是站在巨人肩膀上，利用現(xiàn)有網(wǎng)絡(luò)得到全局和局部特征，后續(xù)的的proposal和prediction就很簡(jiǎn)單了）

（二）   proposal-free

[1] 3D Instance Segmentation via Multi-task Metric Learning_Jean Lahoud

本文思路：

直接獲得數(shù)據(jù)的特征，直接實(shí)例分割

創(chuàng)新點(diǎn)：

一種可獲取數(shù)據(jù)的兩種主要特征的算法

介紹: 

不像傳統(tǒng)的實(shí)例分割方法的思想：用語(yǔ)義標(biāo)簽提升實(shí)例標(biāo)簽。本文的技術(shù)通過(guò)聚類方法專注于實(shí)例標(biāo)簽。本網(wǎng)絡(luò)將語(yǔ)義信息作為局部線索從中獲得便利，另外將3D維度信息和3D聯(lián)系納入其中。本文的亮點(diǎn)在于提出了一種算法，該算法可以直接處理3D網(wǎng)格并學(xué)習(xí)得到兩類主要的特征：針對(duì)每一個(gè)實(shí)例對(duì)象的獨(dú)有的特征描述；指向?qū)嵗龑?duì)象中心的方向。（基于SSCNet這個(gè)網(wǎng)絡(luò)框架改進(jìn)的，大家可以重點(diǎn)關(guān)注一下這個(gè)網(wǎng)路，在ScanNet數(shù)據(jù)集中，SSCNet網(wǎng)路的語(yǔ)義分割結(jié)果評(píng)比第二）

[2] Associatively Segmenting Instances and Semantics in Point Clouds_xinlong wang

本文思路：

通過(guò)實(shí)例分割和語(yǔ)義分割相互提升分割精度

創(chuàng)新點(diǎn)：

ASIS

介紹: 

實(shí)際情況下，實(shí)例分割和語(yǔ)義分割的目的是不同的，前者在同一類中精確區(qū)分不同的個(gè)體，后者是將它們賦予同一個(gè)標(biāo)簽。然而，兩種任務(wù)之間是可以相互合作共贏的，語(yǔ)義分割將點(diǎn)云按不同類別區(qū)分，這僅僅是實(shí)例分割的一個(gè)目標(biāo)（不同類別的點(diǎn)云一定屬于不同個(gè)體的）。實(shí)例分割對(duì)同一實(shí)例個(gè)體賦予同一標(biāo)簽，這與語(yǔ)義分割是保持一致的（同一個(gè)體的點(diǎn)云一定屬于同一類別）。本文利用這層關(guān)系實(shí)現(xiàn)兩種任務(wù)的共贏。并設(shè)計(jì)了ASIS模塊，實(shí)現(xiàn)精度的相互提升。

[3] JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields_Quang Hieu Pham

本文思路：

通過(guò)網(wǎng)絡(luò)獲取語(yǔ)義標(biāo)簽和實(shí)例標(biāo)簽，通過(guò)后續(xù)優(yōu)化融合兩種標(biāo)簽，達(dá)到共贏（和上文的不同在于，一個(gè)在前端融合，一個(gè)在后端融合）

創(chuàng)新點(diǎn)：

MT-PNet+MV-CRF

介紹: 

本文提出了一種多任務(wù)逐點(diǎn)處理的網(wǎng)絡(luò)，同時(shí)實(shí)現(xiàn)兩種任務(wù)：預(yù)測(cè)點(diǎn)云的語(yǔ)義類別；將點(diǎn)云轉(zhuǎn)換為高維向量，致使相同實(shí)例的點(diǎn)云有著近似的表達(dá)。另外，本文提出了多值條件隨機(jī)場(chǎng)去協(xié)調(diào)語(yǔ)義和實(shí)例標(biāo)簽。（語(yǔ)義分割和實(shí)例分割，這兩個(gè)問(wèn)題通常被單獨(dú)處理，實(shí)例分割是語(yǔ)義分割的后續(xù)處理步驟，然而，兩者之間是相互作用的，對(duì)于實(shí)例分割，實(shí)例的外形和容貌特征提取有助于區(qū)分物體種類，另一方面，不同類別的點(diǎn)云是不可能屬于同一個(gè)實(shí)例的。這篇文章和上面有一篇論文很像。）

[4] MASC: Multi-scale affinity with Sparse Convolution for 3D Instance Segmentation Technical Report_Chen Liu

本文思路：

基于語(yǔ)義分割結(jié)果，實(shí)現(xiàn)實(shí)例分割

創(chuàng)新點(diǎn)：

多尺度的數(shù)據(jù)的關(guān)聯(lián)性預(yù)測(cè)

介紹: 

文章利用U-Net和submanifold sparse convolutions卷積處理整個(gè)室內(nèi)場(chǎng)景點(diǎn)云，對(duì)每個(gè)點(diǎn)類別預(yù)測(cè)（語(yǔ)義分割）。另外，對(duì)不同尺度下相鄰體素之間的關(guān)聯(lián)性預(yù)測(cè)，結(jié)合語(yǔ)義標(biāo)簽，利用簡(jiǎn)單而有效的聚類算法得到點(diǎn)云的實(shí)例標(biāo)簽。

[5]3d graph embedding learning with a structure-aware loss function for point cloud semantic instance segmentation_Zhidong Liang

本文思路：

語(yǔ)義分割和實(shí)例分割結(jié)合

創(chuàng)新點(diǎn)：

新穎的損失函數(shù)

介紹:

利用SSCNet得到語(yǔ)義標(biāo)簽和實(shí)例標(biāo)簽，并在該網(wǎng)絡(luò)后增加GCN網(wǎng)絡(luò)，對(duì)實(shí)例分割結(jié)果細(xì)化。

[6]3D Bird’s-Eye-View Instance Segmentation_Cathrin Elich

本文思路：

語(yǔ)義分割和實(shí)例分割結(jié)合

創(chuàng)新點(diǎn)：

2D和3D結(jié)合

介紹: 

本文的有點(diǎn)在于展現(xiàn)了2D和3D結(jié)合的網(wǎng)絡(luò)框架用于聯(lián)合語(yǔ)義和實(shí)例分割；同時(shí)展現(xiàn)了如何實(shí)現(xiàn)規(guī)則的2D特征和不規(guī)則的3D點(diǎn)云特征的融合。

注：補(bǔ)充網(wǎng)絡(luò)（來(lái)源于ScanNet）

Occipital-SCS:

DPC-instance

Seg-cluster

MaskRCNN proj.

參考文獻(xiàn)

Proposal-based

[1] Yi L , Zhao W , Wang H , et al. GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud[J]. 2018.

[2] Wang W , Yu R , Huang Q , et al. SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation[J]. 2017.

[3] Hou J , Dai A , Nie?ner, Matthias. 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans[J]. 2018.

[4] Yang B , Wang J , Clark R , et al. Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds[J]. 2019.

Proposal-free

[1] Lahoud J , Ghanem B , Pollefeys M , R.Oswald M. 3D Instance Segmentation via Multi-task Metric Learning[J]. 2019.

[2] Wang X , Liu S , Shen X , et al. Associatively Segmenting Instances and Semantics in Point Clouds[J]. 2019.

[3] Pham Q H , Nguyen D T , Hua B S , et al. JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields[J]. 2019.

[4] Liu C , Furukawa Y . MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation[J]. 2019.

[5] Liang Z , Yang M , Wang C . 3D Graph Embedding Learning with a Structure-aware Loss Function for Point Cloud Semantic Instance Segmentation[J]. 2019.

[6] Elich C , Engelmann F , Kontogianni T , Leibe B. 3D-BEVIS: Bird's-Eye-View Instance Segmentation[J]. 2019