CVPR2021 | PAConv：一種位置自適應卷積，點云分類、分割任務表現SOTA

導讀：  

由香港大學CVMI Lab和牛津大學合作提出了一種點云上具有動態內核組裝的位置自適應卷積——PAConv: Position Adaptive Convolution with Dynamic Kernel Assembling on Point Clouds，論文已被CVPR2021接收。

PAConv的卷積核由多個基本權重矩陣組裝而成，而在組裝過程中，這些權重矩陣的系數是通過點的位置關系自適應學習得到的。這種以數據驅動構建卷積核的方式賦予了PAConv很強的靈活性，以更好地處理不規則和無序的點云數據。此外，與現有點云卷積高度工程化的網絡結構不同，作者將PAConv直接集成到基于MLP的經典點云網絡架構中，而無需更改原有的網絡配置。即使建立在簡單的網絡架構上，PAConv仍然以很高的效率在點云分類、部件分割和場景分割的任務中表現SOTA。目前全部的代碼和模型都已開源，歡迎大家follow!

一、引言

近年來，深度學習在三維點云處理上取得了顯著進步，但鑒于點云的稀疏性、不規則性和無序性，這仍然是一項具有挑戰性的任務。現有方法大致分為三類：第一類是對點云進行體素化以便可以采用三維網格卷積處理，然而重要的幾何信息可能由于量化而丟失，體素化通常也會帶來額外的存儲和計算成本；第二類是用共享MLP處理所有點，這種方式難以表征點云空間復雜的變化關系；第三類則是設計可以直接處理點云的卷積核，現有方法亦受限于計算復雜度或靈活性，本文中也特別對現有的點云卷積與本文方法的關系和區別進行了詳盡的討論。

本文提出了一種即插即用的位置自適應卷積PAConv，通過動態組裝基本權重矩陣來構造內核，這些權重矩陣的組合系數由ScoreNet自適應地學習點的相對位置關系得到。PAConv以數據驅動的方式靈活地對三維點云的復雜空間變化和幾何結構進行建模，同時保持很高的效率。另外值得一提的是，最近的點云卷積工作大多采用其量身定制的復雜網絡架構，使得我們難以評估到底是其自身卷積操作還是網絡設計而帶來性能的提升。所以，作者直接將PAConv集成到最簡單的MLP點云網絡中，旨在最大程度地降低網絡結構的影響，以更好地評估PAConv本身的性能。

二、方法概述

接下來，作者設計了一個ScoreNet，根據點的位置關系學習一個系數向量以組合權重矩陣。具體地，ScoreNet的輸入為點云中某一個局部區域的中心點pi和其相鄰點pj之間的相對位置關系向量，作者在實驗部分也探討了不同的輸入表征。輸出為一個歸一化的系數向量：

最終，通過將Weight Bank中的權重矩陣與ScoreNet預測出的相應系數進行組合，得出PAConv的卷積核函數：

PAConv以動態數據驅動的方式構造卷積核，其中權重矩陣的系數是從點的位置關系自適應學習的，該內核組裝策略可以靈活地對點云的不規則幾何結構進行建模。

此外，由于權重矩陣是隨機初始化的并且可能會收斂為彼此非常相似，因此無法保證權重矩陣的多樣性。為了避免這種情況，作者設計了一個權重正則化函數來懲罰不同權重矩陣之間的相關性，其定義為：

從而不同的權重矩陣將更分散和獨立，進一步確保了所生成卷積核的多樣性。

至此，本文還將PAConv與現有主流的幾種點云卷積PointCNN，PointConv和KPConv進行了詳細的對比論述。

三、簡單的網絡結構

雖然最近的點云網絡結構差異較大，但是大多數可以視為經典的MLP點云網絡的不同變體。為了評估PAConv的有效性并最大程度地減少復雜網絡架構的影響，作者針對不同的點云任務采用了三個基于MLP的經典且簡單的網絡主干來集成我們的PAConv，而不修改原始的網絡架構（如網絡層數、特征通道數）。

對于物體分類和物體部件分割任務，作者直接使用PAConv替換了DGCNN中的EdgeConv 和PointNet編碼器中的MLP。而對于室內場景分割任務，作者采用了PointNet++最簡單的單尺度分組（SSG）版本，并用PAConv直接替換PointNet ++編碼器中的MLP。

四、實驗

對于物體分類任務，作者采用了ModelNet40數據集，取得了現有方法中最高的分類準確率，并且在不改變原始骨干網絡PointNet和DGCNN的結構的情況下，分別帶來了明顯的提升。

其次，本文還在物體部件分割任務的數據集ShapeNet Part上對PAConv進行了評估，同樣也給DGCNN帶來了顯著的提升。

最后，作者進一步在大規模室內場景分割數據集S3DIS上測試了PAConv的性能。值得一提的是，KPConv和PosPool都對輸入點云進行了體素化（Grid-sampling）預處理以獲得更規則的輸入結構和更多的背景信息來提升性能，然而這種方式不可避免地帶來更多的訓練內存開銷，所以作者直接參考PointNet++采用了更簡單的塊采樣（Block-sampling）來進行數據預處理。PAConv依然為骨干網絡PointNet++帶來了明顯的提升，并保持著較少的計算開銷（FLOPs）。

此外，論文還可視化了ScoreNet學到的系數在空間中的分布。可以看出，對于每個權重矩陣，其系數的分布是不同的，表明不同的權重矩陣捕獲了不同的點位置關系。

五、總結

本論文提出了PAConv，一種具有動態內核組裝的位置自適應卷積，用于點云處理。PAConv通過結合Weight Bank中的基本權重矩陣以及通過ScoreNet從點位置學習的相關系數來構造卷積核。通過將PAConv集成到簡單的MLP點云網絡而無需修改網絡配置時，它依然可以表現SOTA，并且保持著很高的模型效率。大量的實驗和可視化證明了PAConv的有效性。