圖像自適應YOLO：模糊環境下的目標檢測（附源代碼）

最近開車發現霧天和晚上視線不是很清楚，讓我聯想到計算機視覺領域，是不是也是因為這種環境情況，導致最終的模型檢測效果不好。最近正好看了一篇文章，說惡劣天氣下的目標檢測，接下來我們一起深入了解下。

一、前言

盡管基于深度學習的目標檢測方法在傳統數據集上取得了可喜的結果，但從惡劣天氣條件下捕獲的低質量圖像中定位目標仍然具有挑戰性。現有方法要么難以平衡圖像增強和目標檢測的任務，要么經常忽略對檢測有益的潛在信息。

為了緩解這個問題，有研究者提出了一種新穎的圖像自適應YOLO (IA-YOLO) 框架，其中每個圖像都可以自適應增強以獲得更好的檢測性能。
二、背景及相關目標檢測回顧

基于CNN的方法已在目標檢測中盛行。它們不僅在基準數據集上取得了可喜的性能，而且還被部署在自動駕駛等實際應用中。由于輸入圖像的域偏移，由高質量圖像訓練的一般目標檢測模型在惡劣的天氣條件下（例如，有霧和暗光）往往無法獲得令人滿意的結果。Narasimhan和Nayar以及You等人提出在惡劣天氣下拍攝的圖像可以分解為干凈的圖像及其對應的天氣信息，而惡劣天氣下的圖像質量下降主要是由于天氣信息和物體之間的相互作用造成的，這導致檢測性能差。

上圖顯示了霧天條件下目標檢測的示例。可以看出，如果圖像可以根據天氣狀況進行適當的增強，則可以恢復更多有關原始模糊目標和錯誤識別目標的潛在信息。

為了解決這個具有挑戰性的問題，Huang、Le和Jaw（DSNet: Joint semantic learning for object detection in inclement weather conditions）采用了兩個子網絡來聯合學習可見性增強和目標檢測，其中通過共享特征提取層來減少圖像退化的影響。然而，在訓練期間很難調整參數以平衡檢測和恢復之間的權重。另一種方法是通過使用圖像去霧（Multi-Scale Boosted Dehazing Network with Dense Feature Fusion；GridDehazeNet: Attention-Based Multi-Scale Network for Image Dehazing）和圖像增強（Zero-reference deep curve estimation for low-light image enhancement）等現有方法對圖像進行預處理來淡化天氣特定信息的影響。然而，這些方法必須包含復雜的圖像恢復網絡，需要在像素級監督下單獨訓練。這需要手動標記要恢復的圖像。這個問題也可以被視為無監督的domain adaptation任務。與具有清晰圖像（源圖像）的訓練檢測器相比，假設在惡劣天氣下捕獲的圖像（目標圖像）具有分布偏移。這些方法大多采用domain adaptation原則，側重于對齊兩個分布的特征，而通常忽略了基于天氣的圖像恢復過程中可以獲得的潛在信息。

·

亮點

在惡劣天氣條件下拍攝的圖像，由于天氣特定信息的干擾，導致目標檢測困難。為了應對這一挑戰，研究者建議通過刪除特定天氣信息并揭示更多潛在信息來構建圖像自適應檢測框架。如上圖所示，整個pipeline由基于CNN的參數預測器(CNNPP)、可微分圖像處理模塊(DIP)和檢測網絡組成。首先將輸入圖像resize為256×256的大小，并將其輸入CNN-PP以預測DIP的參數。然后，將DIP模塊過濾后的圖像作為YOLOv3檢測器的輸入。提出了一種具有檢測損失的端到端混合數據訓練方案，以便CNN-PP可以學習適當的DIP以弱監督的方式增強圖像以進行目標檢測。

DIP Module

對于CNN-PP基于梯度的優化，過濾器應該是可微的，以允許通過反向傳播來訓練網絡。由于CNN在處理高分辨率圖像（例如4000×3000）時會消耗大量的計算資源，研究者從下采樣的256×256大小的低分辨率圖像中學習濾波器參數，然后將相同的濾波器應用于原始分辨率的圖像。因此，這些過濾器需要獨立于圖像分辨率。

新提出的DIP模塊由六個具有可調超參數的可微濾波器組成，包括去霧、白平衡 (WB)、Gamma、對比度、色調和銳化。例如WB、Gamma、對比度和色調，可以表示為逐像素過濾器。因此，研究者設計的過濾器可以分為去霧、像素過濾和銳化。在這些濾鏡中，Defog濾鏡是專門為有霧場景設計的。

CNN-PP Module

在圖像信號處理 (ISP) pipeline中，通常采用一些可調濾波器來增強圖像，其超參數由經驗豐富的工程師通過visual inspection手動調整。通常，這樣的調整過程對于為廣泛的場景找到合適的參數是非常笨拙和昂貴的。為了解決這個限制，研究者建議使用一個小的CNN作為參數預測器來估計超參數，這是非常有效的。

Detection Network Module

最終選擇one-stage檢測器YOLOv3作為檢測網絡，它廣泛用于實際應用，包括圖像編輯、安全監控、人群檢測和自動駕駛。它通過對多尺度特征圖進行預測來實現多尺度訓練，從而進一步提高檢測精度，尤其是對于小物體。 采用與原始YOLOv3相同的網絡架構和損失函數。

四、實驗及可視化

整個算法流程可以總結為如下偽代碼：

實驗1

Performance comparison on foggy images

YOLOv3和IA-YOLO比較

實驗2

Performance comparison on low-light images

實驗3

Detection results by different methods on real-world RTTS foggy images

實驗4

Detection results of different methods on synthetic VOC_Dark_test images

Efficiency analysis on the compared methods