DTG-SSOD：最新半監督檢測框架，Dense Teacher（附論文下載）
加入技術交流群
論文地址：https://arxiv.org/pdf/2207.05536.pdf
計算機視覺研究院專欄
作者：Edison_G
“從稀疏到密集”的范式使SSOD的流程復雜化，同時忽略了強大的直接、密集的教師監督
01
概述
Mean-Teacher (MT) 方案在半監督目標檢測 (SSOD) 中被廣泛采用。在MT中，由教師的最終預測（例如，在非極大抑制 (NMS) 后處理之后）提供的稀疏偽標簽通過手工制作的標簽分配對學生進行密集監督。然而，“從稀疏到密集”的范式使SSOD的流程復雜化，同時忽略了強大的直接、密集的教師監督。在今天分享中，研究者嘗試直接利用教師的密集指導來監督學生的訓練，即“密集到密集”范式。具體來說，研究者提出了逆NMS聚類(INC)和秩匹配(RM)來實例化密集監督，而無需廣泛使用的傳統稀疏偽標簽。INC引導學生在NMS中像老師一樣將候選框分組到集群中，這是通過學習在老師的NMS程序中顯示的分組信息來實現的。在通過INC獲得與教師相同的分組方案后，學生通過Rank Matching進一步模仿教師在聚類候選人中的排名分布。通過提出的INC和RM，將Dense Teacher Guidance集成到半監督目標檢測（稱為“DTG-SSOD”）中，成功地放棄了稀疏偽標簽，并在未標記數據上實現了更多信息學習。在COCO基準測試中，新方法的DTG-SSOD在各種標記比率下實現了最先進的性能。例如，在10%的標注率下，DTG-SSOD將監督基線從26.9提高到35.9mAP，比之前的最佳方法Soft Teacher高19個百分點。
02
新框架
教師監督信號的比較：下圖(a)之前的方法對教師進行NMS和分數過濾以獲得稀疏的偽標簽，通過標簽分配進一步轉換為對學生的密集監督；下圖(b)提出的DTG-SSOD直接采用教師的密集預測作為學生的密集指導。
Sparse-to-dense ParadigmTask FormulationSSOD的框架如下圖(a)所示。Mean-Teacher方案是以前技術的常見做法，實現了端到端的訓練，每次訓練迭代后通過EMA從學生構建教師。教師將弱增強（例如翻轉和調整大小）圖像作為輸入以生成偽標簽，而學生則應用強增強（例如剪切、幾何變換）進行訓練。強大且適當的數據增強起著重要作用，它不僅增加了學生任務的難度并緩解了過度自信的問題，而且還使學生能夠對各種輸入擾動保持不變，從而實現魯棒的表征學習。
Sparse-to-dense Baseline所有以前的SSOD方法都是基于稀疏到密集的機制，其中生成帶有類別標簽的稀疏偽框，以充當學生訓練的基本事實。它帶有基于置信度的閾值，其中僅保留具有高置信度（例如，大于0.9）的偽標簽。這使得對未標記數據的前景監督比對標記數據的監督要稀疏得多，因此，類不平衡問題在SSOD中被放大，嚴重阻礙了檢測器的訓練。
為了緩解這個問題，研究者借鑒了之前工作的一些優勢：Soft Teacher將混合比r設置為1/4，以便在每個訓練批次中采樣更多未標記數據，這使得未標記數據上的前景樣本數接近標記數據；Unbiased Teacher用Focal loss代替了交叉熵損失，從而減少了簡單示例的梯度貢獻。
這兩個改進，即適當的混合比r(1/4)和Focal loss，都被用于稀疏到稠密的基線和研究者的稠密到稠密的DTG 方法。因為老師只提供稀疏偽標簽，進一步轉化為對學生訓練的密集監督，這些方法被稱為“稀疏到密集”范式。理論上，新提出的SSOD方法獨立于檢測框架，可以適用于單級和兩級檢測器。為了與以前的作品進行公平比較，使用Faster RCNN作為默認檢測框架。
03
實驗
作為表顯示，在完全標記數據設置下，新提出的DTG-SSOD大大超過了以前的方法，超越至少1.2mAP。按照之前的的做法，研究者還對標記數據應用了弱增強，并獲得了40.9mAP的強監督基線。即使基于如此強的基線，DTG-SSOD仍然獲得了+4.8mAP的最大改進，達到了45.7mAP，這驗證了新方法在標記數據量較大時的有效性。
研究者在30k迭代處采用一個檢查點進行分析。稀疏偽標簽提供的學生訓練標簽和研究者密集的教師指導進行了精心比較。(a)sparse-to dense范式和研究者的dense-to-dense范式為學生樣本帶來了不同的訓練標簽。(b)老師給高質量的候選者分配更高的分數，從而保留精確的框。
一些可視化的例子來展示新提出的方法相對于傳統的稀疏到密集范式的優勢。(a-b)對于相同的學生提案，新的密集到密集范式和傳統的稀疏到密集范式將分配不同的標簽。很明顯，新的密集到密集范式可以分配更精確和合理的訓練標簽。(c)教師比學生更擅長對集群候選者的關系建模。
The summary of transformations used in weak and strong augmentation
今天是建軍節，用一張應景的demo結束今天的講解。
*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
