純干貨：Box Size置信度偏差會損害目標檢測器
加入技術交流群
檢測器的置信度預測在目標大小和位置方面存在偏差，但目前尚不清楚這種偏差與受影響的目標檢測器的性能有何關系。
一、前言
無數應用依賴于目標檢測器的可靠置信度估計的準確預測。然而，眾所周知，包括目標檢測器在內的神經網絡會產生錯誤校準的置信估計。最近的工作甚至表明，檢測器的置信度預測在目標大小和位置方面存在偏差，但目前尚不清楚這種偏差與受影響的目標檢測器的性能有何關系。
研究者正式證明條件置信偏差（conditional confidence bias）正在損害目標檢測器的預期性能，并憑經驗驗證這些發現。具體來說，研究者們演示了如何修改直方圖分箱校準，不僅可以避免性能受損，還可以通過條件置信校準來提高性能。
研究者進一步發現，在檢測器的訓練數據上生成的檢測器中也存在置信偏差，利用這些偏差在不使用額外數據的情況下執行提出的去偏差。此外，Test Time Augmentation會放大這種偏差，從而從我們的校準方法中獲得更大的性能提升。最后，研究者在一組不同的目標檢測架構上驗證了他們的發現，并在沒有額外數據或訓練的情況下顯示了高達0.6 mAP和0.8 mAP50的改進。
二、背景
Accurate probability estimates對于自動化決策過程至關重要。它們對于準確可靠的性能以及正確評估風險至關重要。對于目標檢測器來說尤其如此，它們經常部署在自動駕駛、醫學成像和安全應用等獨特的關鍵領域，這些領域可能危及人的生命。盡管存在這些高風險，目標檢測器的置信度校準受到的關注相對較少。目標檢測器設計中的大部分注意力都集中在追求性能基準上的最新結果，而忽略了其預測置信度方面的問題。 此外，最近已經證明目標檢測器在其位置回歸預測方面也容易受到條件置信偏差的影響，但目前尚不清楚這種偏差與受影響目標檢測器的性能有何關系？
為了強調置信校準的重要性，研究者表明條件置信偏差正在損害目標檢測性能。該現象的簡化說明如下圖所示。
三、新方法分析
Evaluating Object Detectors
Confidence Calibration
置信度校準背后的想法是，每個預測的ci應該等于經驗目標檢測器的TP預測概率P(τ i=1| d=di)。從這里開始，我們將其簡稱為Pi。對于置信度校準，將目標檢測器視為一個隨機過程。預測di的標簽現在由隨機變量Ti～Bernoulli(Pi)表示，從中抽取tIoU=0.50的τi作為樣本。Pi也可以看作是目標檢測器對于具有相同置信度ci的一組檢測的精度；將Pi稱為“successful”或TP檢測的概率P(τ i=1| d=di)以避免與上等式中定義的度量混淆。
Bias in Confidence of Object Detector
研究者假設條件置信偏差正在損害目標檢測器的性能。 如第一張圖，基于具有不同校準曲線的兩組檢測的夸大示例來形象化這個想法。 每個組只有一個各自的置信值的檢測，在這個例子中很明顯，置信閾值為0.55的檢測器對于未校準檢測(0,1)的精度為50%；如果檢測器被完美校準 (2,3)，精度為70%。 在精確召回曲線中可以觀察到相關的改進。 該曲線下的面積與AP指標密切相關。 簡單示例和假設表明，目標檢測器相對于邊界框大小和位置的置信估計偏差正在損害檢測器的性能。
接下來都是算式證明
Maximizing Average Precisio
為了證明提出的假設，即置信偏差正在損害目標檢測器的性能，我們看一下AP與P的關系以及如何在一組檢測D中最大化它。目標檢測器可以被視為一個隨機過程 ，所以我們需要分析預期的AP：
代入Prec和Rec：
如果我們假設每個Pi和Pj獨立，i≠j：
通過一些簡單的算術，我們可以將其重新表述為：
因此，我們可以通過根據P從大到小對預測進行排序來最大化AP計算中的總和。由于檢測在評估AP之前根據其置信度進行排序，因此在以下條件下最大化：
Confidence Calibration
不同邊界框大小的置信度校準的變化降低了檢測器的預期性能。現在已經證明了這個假設，研究者希望在證明的基礎上通過校正校準曲線之間的變化來提高檢測器的性能，看看它是否會提高性能指標。如果找到消除條件偏差的檢測置信度映射，則消除了變化，從而產生了相等的校準曲線。這可以通過將置信度映射為每個邊界框大小的成功概率來實現。當然，概率通常是未知的，但置信度校準正好解決了找到將置信度分數映射到他們的經驗成功概率的函數的問題。根據以上的推理，條件置信校準應該減少目標檢測器的框大小置信偏差。減少這種偏差應該會增加檢測器的AP。我們嘗試使用公開可用的目標檢測器CenterNet來驗證這一點，它帶有Hourglass的主干網絡，并在COCO上進行了訓練。我們以60:40的比例分割2017 COCO驗證集，在第一個分割上進行校準，并在較小的第二個分割上評估校準檢測。我們對80個類別中的每一個類別進行類別校準以考慮不同類別的變化，然后將每個類別的檢測分為三個大小相同的邊界框大小的子組。每個子組都使用具有7個置信區間的直方圖分箱進行校準。校準檢測的性能顯著差于未校準檢測的，35.7 mAP和40.1mAP。這個結果與我們最初的推理和形式證明相矛盾，發生了什么？Modifying Histogram Binning
研究者仔細研究histogram binning，以了解為什么它會大大降低測試檢測器的性能。發現它違反了我們先前的一些假設，我們修改了標準直方圖分箱校準以實際驗證我們的原始假設，即我們可以使用校準來提高預測性能。為此，我們在直方圖分箱中加入以下假設：第一個假設是校準提高了我們根據預測成為TP的概率對預測進行排序的能力。直方圖合并將置信范圍映射到單個估計的精度值，丟棄細粒度的置信差異，如下圖：由于我們已經根據它們的大小將檢測分為子組，我們可以假設檢測器在這些子組中產生有意義的置信度排序：畢竟，這是它的訓練目標。由于我們希望保持每個子組內的排序，我們在直方圖bin的中心之間添加linear splines。
我們還將對splines的supports設置為每個bin中檢測的平均置信度，以最大限度地減少每個bin內不均勻分布的置信度造成的錯誤。在上圖右中可以看到supports處減少的方差以及所有修改。我們像以前一樣在同一個目標檢測器上測試每個修改和最終修改的校準函數。結果見之前的表格驗證個別修改和我們最初的假設，即框大小置信偏差降低了目標檢測器的性能，而我們的校準可以減少這種偏差并提高性能。還有較多的證明推理，感興趣的同學可以在論文中繼續詳讀了解：
https://arxiv.org/pdf/2112.01901.pdf
四、實驗
擴展優化指標的 mAP 性能變化
*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
