NeurIPS 2022｜惡劣圖像質(zhì)量情況下的目標(biāo)檢測(cè)算法

編輯丨極市平臺(tái)

• 論文鏈接：https://openreview.net/pdf?id=se2oxj-6Nz
• 源碼鏈接：https://github.com/sunshangquan/ReForDe

圖像質(zhì)量退化在戶外捕捉的數(shù)據(jù)上是很常見(jiàn)的，已有很多算法嘗試恢復(fù)原始數(shù)據(jù)。一般的圖像復(fù)原任務(wù)目標(biāo)是恢復(fù)人類視覺(jué)能識(shí)別更好的結(jié)構(gòu)特征和物體。然而很多圖像復(fù)原任務(wù)結(jié)果是用于下游視覺(jué)任務(wù)（目標(biāo)檢測(cè)，語(yǔ)義分割，自動(dòng)駕駛等），然而這領(lǐng)域的研究關(guān)注較少。

目標(biāo)檢測(cè)任務(wù)已經(jīng)取得了很大的成功。然而在常規(guī)的目標(biāo)檢測(cè)數(shù)據(jù)集中，惡劣的天氣條件或較差的成像條件是一般避免或因?yàn)閿?shù)據(jù)不足難以訓(xùn)練。一般圖像訓(xùn)練得到的檢測(cè)器在這些條件下性能嚴(yán)重降低。

一種解決方法是從干凈圖像（源域）到受污染圖像（目標(biāo)域）的域自適應(yīng)算法。假定存在分布間存在分布轉(zhuǎn)移。主要缺點(diǎn)是經(jīng)過(guò)域自適應(yīng)后的模型在源域上性能會(huì)變差。

另一種解決方法是聯(lián)合訓(xùn)練視覺(jué)質(zhì)量增強(qiáng)模塊與目標(biāo)檢測(cè)模塊。主要問(wèn)題是盡管圖像復(fù)原網(wǎng)絡(luò)取得了人眼看上去令人滿意的結(jié)果，檢測(cè)器可能還是服從模型產(chǎn)生的分布而不是真實(shí)圖像的分布。另外即使模型在干凈圖像和污染圖像上一起訓(xùn)練，與域自適應(yīng)類似，模型在干凈圖像上性能任然會(huì)下降。

本文對(duì)之前用于目標(biāo)檢測(cè)的對(duì)抗攻擊算法TOG可能存在陷入局部最優(yōu)和收斂慢的問(wèn)題提出改進(jìn)，提出一種基于動(dòng)量ADAM變體的對(duì)抗樣本生成算法。本文方法指出找到與原始清晰圖像接近的偽標(biāo)簽數(shù)據(jù)可能會(huì)提升檢測(cè)模型性能。本文方法通過(guò)有目標(biāo)的對(duì)抗攻擊方法在圖像復(fù)原網(wǎng)絡(luò)生成的圖像添加一個(gè)小擾動(dòng)使得到的復(fù)原圖像更適合檢測(cè)器。對(duì)抗樣本由最小化檢測(cè)器損失函數(shù)得到的梯度獲得，并可以作為圖像復(fù)原模型的偽GT。在權(quán)重微調(diào)階段，只更新圖像復(fù)原模型，目標(biāo)檢測(cè)模型保持不變。

這里定義圖像復(fù)原模型及對(duì)應(yīng)參數(shù)和檢測(cè)模型及對(duì)應(yīng)參數(shù)。給定數(shù)據(jù)集包含三個(gè)部分：受污染的圖像，對(duì)應(yīng)的干凈圖像和檢測(cè)標(biāo)注。目標(biāo)是訓(xùn)練圖像復(fù)原模型使復(fù)原后圖像盡可能接近干凈圖像：，另外目標(biāo)檢測(cè)在復(fù)原后圖像上給出正確的檢測(cè)結(jié)果：。

不包含檢測(cè)模型的圖像復(fù)原任務(wù)的優(yōu)化可以描述為：

與傳統(tǒng)的圖像復(fù)原優(yōu)化不同的是本文目標(biāo)是在可視化質(zhì)量和復(fù)原圖像檢測(cè)性能上尋找一個(gè)平衡。則本文的優(yōu)化可以視作為一個(gè)多任務(wù)優(yōu)化問(wèn)題，需要滿足復(fù)原任務(wù)的約束同時(shí)減少目標(biāo)檢測(cè)任務(wù)的損失函數(shù)。該優(yōu)化問(wèn)題可以描述為：

是松弛變量控制與GT允許的距離。由于約束的存在該優(yōu)化問(wèn)題不容易求解，這里使用對(duì)偶函數(shù)并加入對(duì)偶變量求解：

根據(jù)對(duì)偶理論，將該優(yōu)化轉(zhuǎn)化為：

其中，進(jìn)一步轉(zhuǎn)化為：

是另一個(gè)松弛變量控制目標(biāo)檢測(cè)模型性能。考慮一個(gè)與接近的中間變量，優(yōu)化過(guò)程另一個(gè)表述為：

當(dāng)時(shí)，上述兩個(gè)優(yōu)化等價(jià)。

本文的優(yōu)化可以進(jìn)一步描述為：

當(dāng)滿足和該優(yōu)化可以視作為一個(gè)有目標(biāo)對(duì)抗攻擊問(wèn)題。

本文的對(duì)抗攻擊算法借鑒針對(duì)目標(biāo)檢測(cè)的對(duì)抗攻擊算法TOG（ Adversarial objectness gradient attacks in real-time object detection systems）。TOG算法中的對(duì)抗攻擊由sign函數(shù)與修建（clip）一階損失函數(shù)的導(dǎo)數(shù)得到。

是擾動(dòng)步長(zhǎng)，是允許的最大擾動(dòng)尺度。本文指出TOG方法容易陷入局部最優(yōu)或收斂慢，提出使用ADAM優(yōu)化器優(yōu)化對(duì)抗樣本。ADAM可以自適應(yīng)的通過(guò)二階動(dòng)量更新學(xué)斜率。

最終生成的偽GT用于微調(diào)圖像復(fù)原模型。

本文方法在VOC_fog_train和VOC_dark_train數(shù)據(jù)集上訓(xùn)練，在VOC_fog_test，RTTS數(shù)據(jù)集上測(cè)試在有霧圖像性能。在VOC_dark_test，ExDark數(shù)據(jù)集上測(cè)試在低光照?qǐng)D像性能。

YOLOV3檢測(cè)器與不同對(duì)抗攻擊策略下在有霧圖像實(shí)驗(yàn)結(jié)果：

可以看出干凈圖像和污染圖像檢測(cè)性能都有明顯下降，YOLOV3在mAP指標(biāo)上下降了15%。在加入少量擾動(dòng)后的有目標(biāo)對(duì)抗攻擊后，YOLOV3性能有了明顯提升。比如在RTTS數(shù)據(jù)集上從42.77%提升到78.50%。另外本文方法與TOG相比取得了更高的檢測(cè)性能，大約可以獲得2%到7%的提升。

本文方法可視化比較結(jié)果。三列分別是沒(méi)有攻擊的算法，TOG算法與本文算法。第一列是YOLOV3結(jié)果，第二列是Faster RCNN結(jié)果。

低光照條件檢測(cè)結(jié)果：

類似地，本文方法在低光照?qǐng)D像上檢測(cè)也能取得更高性能，同時(shí)復(fù)原能有接近精度。