LCCL網絡：相互指導博弈來提升目標檢測精度

論文地址：https://openaccess.thecvf.com/content/ACCV2020/papers/Zhang_Localize_to_Classify_and_Classify_to_Localize_Mutual_Guidance_in_ACCV_2020_paper.pdf

源代碼地址：https://github.com/ZHANGHeng19931123/MutualGuide

目標檢測一般包括分類和回歸兩個子任務。在模型訓練的過程中，我們依據回歸任務的預測結果動態分配分類任務的標簽，同時利用分類任務的預測結果來分配回歸任務的標簽，以此達到相互指導、左右互搏的效果。

一、背景

有監督的目標檢測是計算機視覺中的一項流行任務，旨在通過邊界框定位目標并將它們中的每一個分配給預定義的類。基于深度學習的方法在很大程度上主導了這個研究領域，最近的方法都是基于Anchor機制的。Anchors是在整個圖像上均勻堆疊的不同大小和縱橫比的預定義參考框。它們通過將目標檢測問題轉換為基于Anchor的邊界框回歸和分類問題，幫助網絡處理目標尺寸和形狀變化。大多數最先進的基于Anchor的目標檢測器采用預定義的Anchor boxes和GT框（以下稱為 IoU-anchor）之間的交集（IoU）來將樣本Anchor分配給目標（正樣本Anchor）或背景（負樣本Anchor）類別。然后使用這些分配的Anchors來最小化訓練期間的邊界框回歸和分類損失。

Anchor A和Anchor B與框GT具有相同的IoU，但具有不同的視覺語義信息。每個圖像中的真實情況標記為虛線框。

基于深度學習的目標檢測涉及兩個子任務：實例定位和分類。這兩個任務的預測分別告訴我們圖像上的“位置”和“什么”目標。在訓練階段，兩個任務都通過梯度下降聯合優化，但是靜態Anchor匹配策略并沒有明確受益于兩個任務的聯合解決方案，這可能會導致任務錯位問題，即在評估階段 ，該模型可能會生成具有正確分類但不精確定位的邊界框的預測，以及具有精確定位但錯誤分類的預測。這兩種預測都顯著降低了整體檢測質量。

二、前言

為了解決現有基于IoU-anchor策略的這兩個局限性，研究者提出了一種新的自適應Anchor匹配準則，由定位和分類任務相互指導，動態分配訓練Anchor樣本為優化分類，反之亦然。特別是，將定位良好的Anchor限制為也很好分類（定位到分類），以及那些分類良好的Anchor也很好定位（分類到定位）。這些策略導致內容/上下文敏感的Anchor匹配并避免任務錯位問題。盡管所提出的策略很簡單，但在PASCAL VOC和MS COCO數據集上，尤其是在嚴格的指標（如AP75）上，Mutual Guidance與具有不同深度學習架構的傳統靜態策略相比，帶來了一致的平均精度 (AP) 增益。

新提出的方法有望在需要精確實例定位的應用程序上更有效，例如自動駕駛、機器人、戶外視頻監控等。

三、新框架

傳統的Anchor通常是預先定義了一組Anchor的aspect ratio，在實際的滑窗訓練過程中先用二分類模型判斷這些Anchor的框內有沒有物體，并根據設定的閾值將sample標注為positive或者negative或者ignored，然后進行bonding box回歸進行refine，最后做多分類再回歸調整位置。

這里作者將預定義的Anchor和GT的IoU叫做IoU-anchor，IoU-anchor大于50%的作為positive，小于40%作為negative，其他作為ignored samples。如果沒有Anchor的大于50%，那就選最大的IoU的那個作為positive。如下圖所示：

定位到分類（Localize to Classify）

動態設置述分類方法中正負樣本的閾值。因為隨著訓練進行，正樣本變多（因為二分類模型能力逐漸增強，但是閾值沒變），作者認為這樣會導致訓練不穩定。

于是作者將擬將分類模型的分類能力納入閾值設置考量范圍以動態設置閾值：在根據IoU-regressed標注確定正負樣本的時候不再直接采用固定閾值，而是根據IoU-anchor中的正樣本數量n來選取IoU-regressed的前n個樣本標注為positive，其他negative和ignored同理。

這種策略能夠隨著定位能力提高而提高，同時也保持了訓練過程中正負樣本分配的一致性！

分類到定位（Classify to localize）

在分類早期，模型處于初始狀態，大多數分類的結果都接近于0，存在類似于推薦系統的冷啟動問題同時也可能使得訓練不穩定，所以研究者定義了一個Classify to localize的策略來避免這種問題。

首先作者定義了一個IoU-amplified用于替換傳統的IoU-regressed，其表達式如下:

其中σ是超參用于調整的增強系數，p是分類得分。此外，這一部分也采用了類似于前面定位到分類部分動態閾值設置的策略來設置這里的正樣本閾值。

顯然開始時與GT的iou較大的anchor box置信度一般更高，被選中的概率也更高；當iou相同時，置信度p較高的anchor得到的IOUamplified也更大。上圖的第四列是直接預測的置信度，第五列是amplified之后的score。可以發現amplified后的結果與iou和p都有關。

IoU-amplifed總是高于IoU-anchor，并且amplification與預測的Classif分數成正比。特別是σ越小amplification越強（注意σ要大于1），σ變大時就消失。

通過這種交互作用，訓練過程能夠讓回歸好分類差的Anchor盡可能地提升分類精度，同樣讓分類好但回歸差的Anchor盡可能地提升回歸精度，從而一定程度解決 task-misalignment問題。

四、實驗及可視化

訓練階段標簽分配差異的可視化（圖像大小設置為320×320像素）。紅色、黃色和綠色Anchor框分別是由基于IoU-anchor、Localize to Classify和Classify to Localize分配的正樣本Anchor。