CVPR 2022 Oral | SCI：實現(xiàn)快速、靈活與穩(wěn)健的低光照圖像增強

來源丨大連理工大學(xué)編輯丨極市平臺

論文地址：https://arxiv.org/pdf/2204.10137.pdf

代碼地址：https://github.com/vis-opt-group/SCI

本文提出了一種全新的低光照圖像增強方案：自校準(zhǔn)光照學(xué)習(xí)（SCI）。通過構(gòu)建引入自校準(zhǔn)模塊的權(quán)重共享光照學(xué)習(xí)過程，摒棄了網(wǎng)絡(luò)結(jié)構(gòu)的繁雜設(shè)計過程，實現(xiàn)了僅使用簡單操作進(jìn)行增強的目的。大量實驗結(jié)果表明，SCI在視覺質(zhì)量、計算效率、下游視覺任務(wù)應(yīng)用方面均取得了突破（見圖1）。該研究已被CVPR 2022收錄為Oral。

低光照圖像增強作為圖像處理中的經(jīng)典任務(wù)，在學(xué)術(shù)界與工業(yè)界均受到了廣泛關(guān)注。2018-2020年連續(xù)舉辦三屆的UG2+Prize Challenge比賽將低光照人臉檢測作為主競賽單元，極大程度推動了學(xué)術(shù)界對于低光照圖像增強技術(shù)的研究。某手機廠商于2019年發(fā)布會上將暗光拍攝能力作為主打亮點，掀起了工業(yè)界利用深度學(xué)習(xí)技術(shù)解決低光照圖像增強的又一波浪潮。

現(xiàn)有的低光照圖像增強技術(shù)聚焦于構(gòu)建數(shù)據(jù)驅(qū)動的深度網(wǎng)絡(luò)，通常其網(wǎng)絡(luò)模型復(fù)雜，導(dǎo)致計算效率低、推理速度慢，并且由于對于訓(xùn)練數(shù)據(jù)分布的依賴性導(dǎo)致其在未知場景下的性能缺乏保障。總的來說，現(xiàn)有技術(shù)普遍缺乏實用性。為解決以上問題，本文致力于從學(xué)習(xí)策略入手，構(gòu)建一種快速、靈活與穩(wěn)健的低光照圖像增強方案。

（1）權(quán)重共享的光照學(xué)習(xí)

根據(jù)Retinex理論，低光照觀測圖像等于清晰圖像與光照的點乘，即。在基于該模型設(shè)計的方法中，光照的估計通常被視為主要的優(yōu)化目標(biāo)，得到精確的光照后，清晰圖像能夠上述關(guān)系直接得到。受現(xiàn)有工作的逐階段光照優(yōu)化過程啟發(fā)，本文構(gòu)建漸進(jìn)式的光照優(yōu)化過程，其基本單元如下所示：

其中  與  分別表示第t階段的殘差與光照。 表示光照估計網(wǎng)絡(luò)。需要注意的是這里  與 階段數(shù)無關(guān), 即在每一階段光照估計網(wǎng)絡(luò)均保持結(jié)構(gòu)與參數(shù)共享狀態(tài)。進(jìn)一步理解該模塊能夠 發(fā)現(xiàn), 在漸進(jìn)式優(yōu)化與參數(shù)共享機制下, 每個階段均希望得到與目標(biāo)接近的輸出。換句話說, 是否存在一種可能, 能夠令每個階段的輸出盡可能接近且與目標(biāo)一致, 這樣一來, 多階段級聯(lián) 測試變?yōu)閱坞A段測試, 將大幅減少推理代價。為實現(xiàn)該目標(biāo), 如下引入了一種自校準(zhǔn)模塊。

（2）自校準(zhǔn)模塊

該模塊的目的在于從分析每個階段之間的關(guān)系入手，確保在訓(xùn)練過程中的不同階段的輸出均能夠收斂到相同的狀態(tài)。自校準(zhǔn)模塊的公式表達(dá)如下所示：

其中是校準(zhǔn)后的用于下一階段的輸入。也就是說，原本的光照學(xué)習(xí)過程中第二階段及以后的輸入變成了由上述公式得到的結(jié)果（總的計算流程如圖2所示），即光照優(yōu)化過程的基本單元被重新公式化為：

實際上，該自校準(zhǔn)模塊通過引入物理規(guī)律（即Retinex理論），逐步校正了每一階段的輸入來間接地影響了每一階段的輸出，進(jìn)而實現(xiàn)了階段間的收斂。圖3探究了自校準(zhǔn)模塊的作用，可以發(fā)現(xiàn)，自校準(zhǔn)模塊的引入使得不同階段的結(jié)果能夠很快地收斂到相同狀態(tài)（即三個階段的結(jié)果重合）。

（3）無監(jiān)督損失函數(shù)

為了更好地訓(xùn)練提出的學(xué)習(xí)框架，該部分設(shè)計了一種無監(jiān)督損失函數(shù)，以約束每一階段的光照估計，公式表示如下：

其中前一項與后一項分別代表數(shù)據(jù)保真項及平滑正則項（關(guān)于各個變量的詳細(xì)說明請參見論文）。

（1）定量分析

表1展示了在著名的MIT-Adobe FiveK數(shù)據(jù)集上的定量結(jié)果對比，可以看出，提出方法取得了最優(yōu)性能。值得注意的是，盡管提出方法為無監(jiān)督方法，但其在PSNR與SSIM這類有參考指標(biāo)上的結(jié)果均實現(xiàn)了最優(yōu)，究其原因在于該數(shù)據(jù)集的Ground Truth是由專家修飾得到的，也說明了提出方法生成的結(jié)果更符合人類視覺習(xí)慣。

（2）真實場景下的視覺對比

圖4展示了兩組在有難度的真實場景下的增強結(jié)果對比。可以看出，相比于其他的方法，提出方法的增強結(jié)果亮度適中、細(xì)節(jié)豐富、色調(diào)自然、具有更高的視覺質(zhì)量。

（3）下游任務(wù)性能分析

為了進(jìn)一步探究SCI的優(yōu)勢，本文比較了在低光照人臉檢測與夜間語義分割兩個下游任務(wù)的性能。在低光照人臉檢測任務(wù)中，定義了兩種與SCI相關(guān)的版本，一種是將SCI作為預(yù)處理來實現(xiàn)數(shù)據(jù)的亮度增強（其他對比方法采用相同方式）并在該數(shù)據(jù)基礎(chǔ)上微調(diào)檢測網(wǎng)絡(luò)，另一種是SCI與檢測網(wǎng)絡(luò)聯(lián)合微調(diào)（記為SCI+）。圖5中展示了檢測結(jié)果，可以看出，本文提出的方法具有明顯優(yōu)勢，能夠檢測出更多的小目標(biāo)。

圖6展示了夜間語義分割性能，可以看出，SCI獲得了有競爭的數(shù)值結(jié)果，同時在類別劃分上更準(zhǔn)確，邊緣刻畫更清晰。

本文提出的SCI在圖像質(zhì)量和推理速度方面均取得了突破，為低光照圖像增強任務(wù)的解決提供了一種新的視角，即如何在有限資源下賦予網(wǎng)絡(luò)模型更強的刻畫能力，該種視角相信也能夠為其他相關(guān)視覺增強領(lǐng)域帶來啟發(fā)。未來，作者將繼續(xù)探究如何設(shè)計更有效的學(xué)習(xí)手段來建立輕量、魯棒、面向更具有挑戰(zhàn)真實場景的低光照圖像增強方案。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。