SFOD：無源域適配升級優化，讓檢測模型更容易適應新數據

論文地址：https://openaccess.thecvf.com/content/CVPR2022/papers/Li_Source-Free_Object_Detection_by_Learning_To_Overlook_Domain_Style_CVPR_2022_paper.pdf

無源目標檢測 (SFOD) 需要將在標記的源域上預訓練的檢測器調整到目標域，只有來自目標域的未標記訓練數據。

01

技術簡要

無源目標檢測 (SFOD) 需要將在標記的源域上預訓練的檢測器調整到目標域，只有來自目標域的未標記訓練數據。現有的SFOD方法通常采用偽標簽范式，模型自適應在預測偽標簽和微調模型之間交替進行。

由于域偏移的存在和目標域訓練數據的使用有限，這種方法的偽標簽準確性不令人滿意。如上圖所示。

在今天分享中，研究者提出了一種新穎的Learning to Overlook Domain Style(LODS) 方法，該方法以有原則的方式解決了這些限制。研究者的想法是通過強制模型忽略目標域樣式來減少域轉移效應，從而簡化模型適應并變得更容易進行。

為此，增強了每個目標域圖像的風格，并利用原始圖像和增強圖像之間的風格度差異作為模型適應的自監督信號。通過將增強圖像視為輔助視圖，利用學生教師架構來學習忽略與原始圖像的風格程度差異，其特征還在于新穎的風格增強算法和圖形對齊約束。大量實驗表明LODS在四個基準測試中產生了新的最先進的性能。

02

背景概述

目前，關于SFOD問題的研究不多。社區更加關注無源域適配（SFDA）。SFDA的方法大致可以分為兩類。 

第一類是基于樣本生成的思想：

由于源數據不可訪問，傳統的域適應技術不適用。生成具有源域樣式或目標域樣式的標記圖像，或服從源分布的標記特征。成功的關鍵是滿意的樣本生成，這本身就具有足夠的挑戰性并且沒有很好地解決。 

另一類利用基于自我訓練的偽標簽：

獲得可靠的標簽并不容易，尤其是在領域差距很大的情況下，在自訓練過程中總是只取高置信度的標簽樣本。

很明顯，目標域風格（例如成像特征）對域相對于源域的遷移有很大貢獻。因此，最小化目標域樣式對模型行為的影響將立即有效地減少域轉移。在上述基礎上，如剛開始的圖所示，提出了一種新的領域適應方法（LODS）。 

它首先增強每個目標圖像的目標域風格，同時保持目標圖像的原始風格。這樣就構建了基于風格增強圖像的輔助視圖。有了這個輔助視圖，新方法讓目標檢測器學會忽略目標域樣式。學生-教師框架被用來完成這項任務。

03

新框架分析

提出的LODS方法由兩部分組成。如下圖所示，一個是style enhancement module；另一個是overlooking style module。

style enhancement module（上圖(a)）首先提取每個圖像的風格，即通道均值和方差。對于一幅圖像，其增強的目標域風格被計算為它本身和任何目標圖像的風格的非線性組合。然后，通過替換增強樣式來增強樣式。通過將風格增強圖像視為另一個領域，可以使用Mean-Teacher框架來利用風格差異進行模型適應（圖(b)）。目標圖像和風格增強版本分別輸入教師和學生模型。這兩個模型基于Faster-RCNN并初始化為預訓練的源模型。基于圖匹配的類實例級對齊和圖像級對齊旨在幫助教師和學生相互學習。偽標簽也用于增加學生模型的辨別力。

基于上述推斷，研究者設計了一個風格增強模塊，如上圖所示。兩個網絡F1和F2分別設計為近似δ1和δ2。它們中的每一個都由兩個全連接層和一個ReLU層組成，具有最小的參數是非線性的。特征編碼器E源自預訓練的VGG-16模型，并在訓練和測試期間固定。****D是編碼器的逆。由于風格一致性受限于底層特征，編碼器E = E2 ?E1進一步分為E1和E2部分，其中?是函數嵌套算子。****D = D2 ? D1作為D1和D2也是如此。具體來說，第一次下采樣后的第一個ReLU層是分割E的分割線。D被對稱分割為E。

04

實驗可視化