CVPR 2022 | 基于密度與深度分解的自增強(qiáng)非成對(duì)圖像去霧

為了克服在合成數(shù)據(jù)集上訓(xùn)練的去霧模型的過擬合問題，許多最近的方法試圖使用非成對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練來提高模型的泛化能力。然而其中大多數(shù)方法僅僅簡(jiǎn)單地遵循 CycleGAN 的思路構(gòu)建去霧循環(huán)和上霧循環(huán)，卻忽略了現(xiàn)實(shí)世界中霧霾環(huán)境的物理特性，即霧霾對(duì)物體可見度的影響隨深度和霧氣密度而變化。

在本文中，我們提出了一種自增強(qiáng)的圖像去霧框架，稱為D4（Dehazing via Decomposing transmission map into Density and Depth），用于圖像去霧和霧氣生成。我們所提出的框架并非簡(jiǎn)單地估計(jì)透射圖或清晰圖像，而是聚焦于探索有霧圖像和清晰圖像中的散射系數(shù)和深度信息。通過估計(jì)的場(chǎng)景深度，我們的方法能夠重新渲染具有不同厚度霧氣的有霧圖像，并用于訓(xùn)練去霧網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)。值得注意的是，整個(gè)訓(xùn)練過程僅依靠非成對(duì)的有霧圖像和清晰圖像，成功地從單個(gè)有霧圖像中恢復(fù)了散射系數(shù)、深度圖和清晰內(nèi)容。

綜合實(shí)驗(yàn)表明，我們的方法在參數(shù)量和 FLOP 更少的情況下去霧效果優(yōu)于最先進(jìn)的非成對(duì)去霧方法。本工作是由京東探索研究院聯(lián)合天津大學(xué)、悉尼大學(xué)完成，已經(jīng)被CVPR2022 接收。

01

研究背景

霧霾是由氣溶膠粒子在大氣中的散射效應(yīng)引起的一種自然現(xiàn)象。它會(huì)嚴(yán)重影響圖片中的內(nèi)容的可見性，給人類和計(jì)算機(jī)視覺系統(tǒng)帶來影響。

借助深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力，大量的有監(jiān)督方法都已經(jīng)被提出并被應(yīng)用于圖像去霧。通過使用大量合成的有霧-清晰圖像對(duì)的訓(xùn)練，有監(jiān)督的深度去霧方法在特定的測(cè)試集上取得了令人滿意的結(jié)果。然而，合成的有霧圖像和真實(shí)世界的有霧圖像之間存在較大的差距。僅僅在成對(duì)圖像上進(jìn)行訓(xùn)練的去霧模型很容易過擬合，從而導(dǎo)致在真實(shí)世界有霧圖像中泛化很差的現(xiàn)象。

而由于現(xiàn)實(shí)世界中有霧/清晰的圖像很難獲得，所以近年來，研究人員提出了許多使用非成對(duì)有霧/清晰圖像的深度學(xué)習(xí)方法來訓(xùn)練圖像去霧模型。其中，許多方法采用了基于CycleGAN[1] 的思想，來構(gòu)建去霧循環(huán)和上霧循環(huán)，從而可以在進(jìn)行有霧圖像和清晰圖像進(jìn)行轉(zhuǎn)換的同時(shí)保持內(nèi)容一致性。

然而，我們認(rèn)為，簡(jiǎn)單地使用 CycleGAN 的思想，通過網(wǎng)絡(luò)端到端地實(shí)現(xiàn)有霧圖像域和清晰圖像域之間的轉(zhuǎn)換并不能夠很好地解決非成對(duì)圖像去霧這一問題。現(xiàn)有的基于構(gòu)建循環(huán)的去霧方法忽略了真實(shí)有霧環(huán)境的物理特性，即真實(shí)世界中的霧氣對(duì)圖像的影響隨著霧氣濃度和深度的變化而變化，這種關(guān)系已經(jīng)由大氣散射模型[2]給出描述，即一張有霧圖像可以表示為：

    （1）

其中，J(x)為清晰圖像，A為大氣光，可以使用[3]中的方法直接確定。t(x)為透射圖，可進(jìn)一步表示為：

      （2）

其中 β 為散射系數(shù)，可表示霧氣的濃度，d(x)表示深度。如圖1（i）和（iii）-（e）所示，基于 CycleGAN 的方法傾向于合成具有固定厚度的霧氣，并且可能錯(cuò)誤地模擬霧氣效應(yīng)，即，隨著場(chǎng)景深度的增加，霧氣應(yīng)該變得更厚。

本方法目標(biāo)是在原始 CycleGAN 處理非成對(duì)圖像去霧方法的基礎(chǔ)上，引入考慮霧氣密度與場(chǎng)景深度的物理模型，使得模型在訓(xùn)練過程中可以合成更加真實(shí)且厚度有變化的霧氣，從而達(dá)到數(shù)據(jù)增強(qiáng)，進(jìn)而提升模型去霧效果的目的。

圖1 （1）基于CycleGAN的非成對(duì)去霧圖示，（2）所提出的方法圖示及（3）結(jié)果對(duì)比

02

基于深度和密度分解的自增強(qiáng)非成

對(duì)圖像去霧方法

我們提出了一種基于深度和霧氣密度分解的自增強(qiáng)非成對(duì)圖像去霧框架。其訓(xùn)練過程包括兩個(gè)分支，去霧-上霧分支和上霧-去霧分支。如圖2上半部分，在去霧-上霧分支中，一張有霧圖像  首先輸入去霧網(wǎng)絡(luò)  中得到估計(jì)的透射圖  和估計(jì)的散射系數(shù) ，進(jìn)一步通過式(1)合成清晰圖像   。

同時(shí)，根據(jù)式(2)，其深度  可以通過估計(jì)的透射圖和散射系數(shù)一并求出。之后將  輸入深度估計(jì)網(wǎng)絡(luò)  ，得到估計(jì)的深度圖  。然后使用得到的深度圖  和先前得到的散射系數(shù)  根據(jù)式(1)、(2)得到粗有霧圖像，再經(jīng)過細(xì)化網(wǎng)絡(luò)  得到最終的上霧圖像   。而在上霧-去霧分支中，如圖2下半部分，起點(diǎn)則變?yōu)榱饲逦鷪D像   。

其首先輸入深度估計(jì)網(wǎng)絡(luò)  得到估計(jì)的深度  ，結(jié)合在均勻分布里隨機(jī)采樣的散射因子  ，根據(jù)式(1)、(2)得到粗上霧圖像，再經(jīng)過細(xì)化網(wǎng)絡(luò)  得到上霧圖像   。得到的上霧圖像再經(jīng)過去霧網(wǎng)絡(luò)  得到估計(jì)的透射圖  和估計(jì)的散射系數(shù)  ，進(jìn)一步通過式(1)合成清晰圖像   。

其中對(duì)散射因子  進(jìn)行隨機(jī)采樣是我們的一個(gè)創(chuàng)新點(diǎn)，因?yàn)樽匀唤缰械撵F氣是有著輕重薄厚之分的，所以通過對(duì)散射因子  進(jìn)行隨機(jī)采樣并輸入到下面的霧氣合成部分，我們的網(wǎng)絡(luò)便可以在訓(xùn)練過程中提供富于薄厚變化的霧氣，從而達(dá)到自增強(qiáng)的目的。

圖2 框架訓(xùn)練過程示意圖

注意這里  與  是非成對(duì)的清晰/有霧圖像。為了保證整個(gè)框架能夠正常訓(xùn)練，我們使用了若干項(xiàng)損失函數(shù)，包括循環(huán)一致性損失，對(duì)抗損失，偽散射因子監(jiān)督損失和偽深度監(jiān)督損失。

循環(huán)一致性損失要求在兩個(gè)分支中，重建的有霧圖像   應(yīng)當(dāng)與給定的有霧圖像  一致，重建的清晰圖像   應(yīng)當(dāng)與給定的清晰圖像  一致。其目的是保持圖像內(nèi)容的一致性。循環(huán)一致性損失  表示為：

對(duì)抗損失評(píng)估生成的圖像是否屬于特定域。換句話說，它約束我們的去霧和再霧化圖像應(yīng)該是視覺上逼真的，并且分別遵循與訓(xùn)練集  和   中的圖像具有相同的分布。對(duì)于去霧網(wǎng)絡(luò)  和對(duì)應(yīng)的判別器  ，對(duì)抗損失可以表示為：

其中  是從清晰圖像集合  中采樣得到的真實(shí)清晰圖像樣本。  是通過去霧網(wǎng)絡(luò)  得到的去霧結(jié)果。  是用于判斷輸入圖像是否屬于清晰域的判別器。相對(duì)應(yīng)的，圖像細(xì)化網(wǎng)絡(luò)  和對(duì)應(yīng)的判別器  所使用的對(duì)抗損失可以表示為：

其中  是從有霧圖像集合  中采樣得到的真實(shí)有霧圖像樣本。   是通過細(xì)化網(wǎng)絡(luò)  得到的上霧圖片。  是用于判斷輸入圖像是否屬于有霧域的判別器。

由于并不存在直接可用的成對(duì)深度信息與成對(duì)的散射因子信息用于訓(xùn)練深度估計(jì)網(wǎng)絡(luò)和散射因子估計(jì)網(wǎng)絡(luò)。我們引入了偽散射因子監(jiān)督損失和偽深度監(jiān)督損失來訓(xùn)練這兩個(gè)子網(wǎng)絡(luò)。

偽散射因子監(jiān)督損失是指在上霧-去霧分支中，由去霧網(wǎng)絡(luò)  預(yù)測(cè)的散射因子  應(yīng)當(dāng)與隨機(jī)生成的  的值保持一致。其可以表示為：

偽深度監(jiān)督損失是指在去霧-上霧分支中，由深度網(wǎng)絡(luò)  預(yù)測(cè)的深度  應(yīng)當(dāng)與由  和  求出的  保持一致。其可以表示為：

其中深度估計(jì)網(wǎng)絡(luò)  直接由深度估計(jì)損失  優(yōu)化，其余的模塊則由 λλλ 優(yōu)化，其中 λλ 。

03

實(shí)驗(yàn)結(jié)果

表1 各方法在各數(shù)據(jù)集上的性能表現(xiàn)

我們將所提出的方法與其他有監(jiān)督，無監(jiān)督以及非成對(duì)的去霧方法進(jìn)行了對(duì)比，其中有監(jiān)督的對(duì)比方法包括 EPDN[4]、FFANet[5]、HardGAN[6]、PSD[7]，非成對(duì)方法包括CycleGAN[1], CycleDehaze[8], DisentGAN[9], RefineDNet[10]，無監(jiān)督方法包括DCP[3]，YOLY[11]。

定量實(shí)驗(yàn)結(jié)果比較。為了驗(yàn)證我們的方法相較于有監(jiān)督的方法有著更好的泛化性能，相較于其他無監(jiān)督或非成對(duì)方法也有更好的去霧性能，我們?cè)?SOTS-indoor 數(shù)據(jù)集上對(duì)這些方法進(jìn)行訓(xùn)練并在其他數(shù)據(jù)集上測(cè)試它們的性能。同時(shí)我們還測(cè)試了這些方法的模型參數(shù)量和 FLOPs 用來測(cè)試這些模型的效率。結(jié)果如表1所示。

定性實(shí)驗(yàn)結(jié)果比較。為了驗(yàn)證我們的方法相較于其他方法的優(yōu)勢(shì)，我們還在多個(gè)數(shù)據(jù)集以及真實(shí)有霧圖像上進(jìn)行了定性的測(cè)試。其結(jié)果如圖3、圖4所示。其中圖3第一組，第二組圖像是 SOTS-indoor 的測(cè)試集，與訓(xùn)練集分布類似，可以看到 FFANet 去霧效果最好，我們的方法優(yōu)于除了 FFANet 的其余方法。

第三四張分別來自 SOTS-outdoor 和 IHAZE 數(shù)據(jù)集，與訓(xùn)練集分布不同?？梢钥闯鑫覀兊姆椒ㄏ噍^其他方法去霧更加徹底，且相對(duì)其他方法如 cycledehaze 顏色失真較小，生成的結(jié)果更加自然。圖4展示了兩個(gè)真實(shí)圖像去霧的例子，可以看到我們的方法去霧結(jié)果明顯好于其他方法，說明我們的模型泛化能力相對(duì)其他模型有著明顯優(yōu)勢(shì)。

除此之外，我們的方法還可以用于有霧圖像的生成，此類技術(shù)可以應(yīng)用于圖像或視頻編輯中，相較于其他的方法，我們的方法生成的有霧圖像可以隨意變化霧氣的薄厚程度，而且更加富有真實(shí)感，如圖5所示。

另外，區(qū)別于其他的非成對(duì)圖像去霧方法，我們的模型還支持對(duì)清晰圖像進(jìn)行相對(duì)深度預(yù)測(cè)，其效果如圖6所示，雖然相比于其他有監(jiān)督的深度估計(jì)網(wǎng)絡(luò)，深度估計(jì)準(zhǔn)確度有限，但我們的方法是首個(gè)能夠利用非成對(duì)的有霧/清晰圖像訓(xùn)練出了能夠估計(jì)場(chǎng)景深度的方法。

 圖3各個(gè)方法在測(cè)試集上的定性效果比較

圖4 各個(gè)方法在真實(shí)圖像上的去霧結(jié)果對(duì)比

圖5 所提出的方法在生成有霧圖像上的效果

圖6 所提出的方法在深度估計(jì)上的效果

04

結(jié)論

本文提出了一種自增強(qiáng)的非成對(duì)圖像去霧框架D4，該框架將透射圖的估計(jì)分解為對(duì)霧氣密度（散射因子）和深度圖的預(yù)測(cè)。根據(jù)估計(jì)的深度，我們的方法能夠重新渲染具有不同霧氣厚度的有霧圖像并且用作自增強(qiáng)，以提高模型去霧性能。充分的實(shí)驗(yàn)驗(yàn)證了我們的方法相對(duì)于其他去霧方法的優(yōu)越性。

但我們的方法也存在著局限性，它通常會(huì)過度估計(jì)極端明亮區(qū)域的透射圖，這將誤導(dǎo)深度估計(jì)網(wǎng)絡(luò)對(duì)過亮區(qū)域預(yù)測(cè)得到較小的深度值。并且我們發(fā)現(xiàn)低質(zhì)量的訓(xùn)練數(shù)據(jù)會(huì)導(dǎo)致訓(xùn)練不穩(wěn)定。盡管如此，我們提出的在物理模型中的變量進(jìn)一步分解思路可以擴(kuò)展到其他任務(wù)，比如低光照增強(qiáng)等。希望我們的方法能夠啟發(fā)未來的工作，尤其是底層視覺中的非成對(duì)學(xué)習(xí)任務(wù)。

文章：https://openaccess.thecvf.com/content/CVPR2022/html/Yang_Self-Augmented_Unpaired_Image_Dehazing_via_Density_and_Depth_Decomposition_CVPR_2022_paper.html

代碼：代碼已公布 https://github.com/YaN9-Y/D4

參考文獻(xiàn)

[1] Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A Efros. Unpaired image-to-image translation using cycle- consistent adversarial networks. In ICCV, pages 2223–2232, 2017

[2] Srinivasa G Narasimhan and Shree K Nayar. Chromatic framework for vision in bad weather. In CVPR, volume 1, pages 598–605, 2000.

[3] Kaiming He, Jian Sun, and Xiaoou Tang. Single im- age haze removal using dark channel prior. IEEE TPAMI, 33(12):2341–2353, 2010.

[4] Yanyun Qu, Yizi Chen, Jingying Huang, and Yuan Xie. En- hanced pix2pix dehazing network. In CVPR, pages 8160– 8168, 2019.

[5] Xu Qin, Zhilin Wang, Yuanchao Bai, Xiaodong Xie, and Huizhu Jia. Ffa-net: Feature fusion attention network for single image dehazing. In AAAI, volume 34, pages 11908– 11915, 2020

[6] Qili Deng, Ziling Huang, Chung-Chi Tsai, and Chia-Wen Lin. Hardgan: A haze-aware representation distillation gan for single image dehazing. In ECCV, pages 722–738.

[7] Zeyuan Chen, Yangchao Wang, Yang Yang, and Dong Liu. Psd: Principled synthetic-to-real dehazing guided by phys- ical priors. In CVPR, pages 7180–7189, June 2021. [8] Shiwei Shen, Guoqing Jin, Ke Gao, and Yongdong Zhang. Ape-gan: Adversarial perturbation elimination with gan. arXiv preprint arXiv:1707.05474, 2017.

[8] Deniz Engin, Anil Genc?, and Hazim Kemal Ekenel.  Cycle- dehaze: Enhanced cyclegan for single image dehazing. In CVPRW, pages 825–833, 2018.

[9] Xitong Yang, Zheng Xu, and Jiebo Luo. Towards percep- tual image dehazing by physics-based disentanglement and adversarial training. In AAAI, volume 32, pages 7485–7492, 2018.

[10] Shiyu Zhao, Lin Zhang, Ying Shen, and Yicong Zhou. Refinednet: A weakly supervised refinement framework for sin- gle image dehazing. IEEE TIP, 30:3391–3404, 2021.

[11] Boyun Li, Yuanbiao Gou, Shuhang Gu, Jerry Zitao Liu, Joey Tianyi Zhou, and Xi Peng. You only look yourself: Unsupervised and untrained single image dehazing neural net- work. IJCV, 129(5):1754–1767, 2021.