半監督語義分割前沿
加入技術交流群
來源丨MCPRL
導讀
傳統語義分割在很多任務上已經達到了很好的性能，然而這需要大規模完全標注的數據集，這無疑需要昂貴的人力物力財力。半監督語義分割旨在利用少量標注樣本和大量的未標記樣本解決標注難度大、標注成本昂貴等問題。本文將焦距近期半監督語義分割的前沿論文，分析其方法和特點并給出總結。
1 背景
定義：使用大量的未標記數據，以及同時使用標記數據，來進行語義分割。常用數據集：PASCAL VOC 2012；Cityscapes等常用分割網絡：不同backbone的deeplabv3+；HRNet；PSPNet等常用方法：主要包括Pseudo-Labels based和Consistency based，Pseudo-Labels based就是基于偽標簽進行監督學習的方法, 一般就是模型對unlabeled data預測偽標簽，然后進行監督學習；Consistency based就是利用數據增強、網絡擾動等方法，但認為模型的輸出應該保持一致，可以看作一種正則化方法以提高模型的泛化性，防止網絡對有標簽數據的過擬合，讓模型提取出最本質的特征。
2 論文列表
本文分析的論文如下：3 ST++: Make Self-training Work Better for Semi-supervised Semantic Segmentation
第一篇就是CVPR2022的ST++，它具有兩大出發點：- 對于半監督語義分割來說，一些精細的機制（指加的一些tricks）是必不可少的嗎?更重要的是，self-train對于這項任務來說已經過時了嗎?針對這個出發點，作者就使用self-train策略，利用常用的數據增強，而沒有用其他花哨的tricks，產生ST模型
- 第二個出發點就是，以前的方法，同時利用了所有的unlabeled data，而不同的未標記圖像不可能同樣簡單，對應的偽標簽也不可能同樣可靠，因此在使用有些不可靠的偽標簽迭代優化模型時，會導致嚴重的預測偏差和潛在的性能下降。因此，作者提出ST++進行重新訓練，它會基于偽mask在不同迭代輪次中的整體穩定性自動選擇和優先排序更可靠的圖像，為剩下的不可靠的圖像生成更高質量的人工標簽。
- 【有監督預訓練】在有標簽圖像上完全訓練得到一個初始的教師模型T
- 【生成偽標簽】用教師模型在所有的無標簽圖像上預測one-hot偽標簽
- 【重新訓練】混合有標簽圖像和無標簽圖像及其偽標簽，在其上重新訓練一個學生模型S，用于最終的測試
- 在labeled data上訓練T，并根據meanIOU篩選可靠的unlabeled data
- 用labeled data和可靠的unlabeled data第一次訓練S
- 訓練好的模型對不可靠的unlabeled data重新預測生成偽標簽
- 用所有數據對S進行第二次訓練
- 整個訓練過程還可以繼續迭代，利用自身模型性能的提升和數據不斷清洗形成正反饋。
4 Semi-Supervised Semantic Segmentation With Cross Pseudo Supervision
這一篇CPS來自于CVPR2021，,其思想非常簡單，就是利用網絡擾動，即兩個具有相同架構的不同初始化的網絡進行交叉監督，來達到提升模型預測穩定性的作用。它結合Cutmix數據增強和CELoss就可達到當時SOTA。5 Perturbed and Strict Mean Teachers for Semi-supervised Semantic Segmentation
這篇文章也是出自CVPR2022，是一個利用一致性損失的經典方法。它主要貢獻就是：1. 通過一個新的輔助教師和一個更嚴格的信心加權的CE損失(Conf-CE)來替代MT的MSE損失，提高了未標記訓練圖像的分割精度，和更好的收斂——架構、損失函數層面2. 結合使用輸入數據、特征和網絡擾動，以改進模型的泛化3. 提出一種新型的特征擾動，稱為T-VAT，基于從我們的MT模型的教師那里學習到的對抗性噪聲，并將其應用于學生模型，從而產生具有挑戰性的噪聲，以促進學生模型的有效訓練。——擾動層面6 Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels
7 Semi-Supervised Semantic Segmentation via Adaptive Equalization Learning
這是NIPS2021的一篇，著重于解決長尾、類不平衡問題，比如說Cityscapes數據集，頭部類別的像素數遠多于尾部類別幾百倍。為了應對數據集中的這種問題，本文提出了三大自適應策略：1)自適應復制-粘貼和CutMix數據增強方法，為表現不佳的類別提供更多被復制或剪切的機會2)自適應數據采樣方法，鼓勵從表現不佳的類別中采樣像素3)一種簡單而有效的重加權方法，以緩解偽標記帶來的訓練噪聲8 Enhancing Pseudo Label Quality for Semi-Supervised Domain-Generalized Medical Image Segmentation
這一篇是用在醫學圖像CT上的半監督域擴展語義分割，解決Domain-Generalize問題：訓練數據由來自三個源域的標記圖像和未標記圖像組成，且不知道域標簽，而測試數據來自一個未知分布。方法主要是借鑒CPS交叉監督提出 confidence-aware cross pseudo supervision，并且使用了使用傅里葉特征做數據增強。9 Collaborative and Adversarial Learning of Focused and Dispersive Representations for Semi-supervised Polyp Segmentation
- 這篇是半監督方法用在息肉分割上的，主要提出了兩個提取模塊，在兩個分割網絡的編碼路徑上分別采用FEM和DEM。FEM使我們的網絡能夠捕捉到輸入特征圖的重點信息，如位置信息和空間信息，而DEM試圖聚合輸入的零散邊界信息。
- 同時訓練兩個分割網絡和一個discriminator網絡標記圖像通過對抗訓練方法。在一致性約束的幫助下，我們可以利用FEM和DEM的兩種特征映射，通過訓練好的鑒別器網絡生成具有高可信度的置信度映射；
- 提出了另一種對抗訓練方法——輔助對抗學習(AAL)，以提高半監督訓練階段未標記圖像分割預測的質量。我們采用一種新的鑒別器對有標記圖像的分割結果分配真標簽，對無標記圖像的預測分配假標簽。使用AAL可以得到可信度較高的置信圖，從而更好地應用于分割網絡
10 總結
- 半監督語義分割目前的改進方向主要包括：圖像、特征、網絡層級的擾動；網絡架構（目前較少）；損失函數（更細的改動，結合consistency-based 和 pseudo-based）；訓練策略（更細致的策略）
- 可融合的方向：對比學習、相似度學習可作為突破口，可能可以結合弱監督、無監督方法。
撰稿人、排版人：董軍豪
本文僅做學術分享，如有侵權，請聯系刪文。
*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
