SFT-GAN、CSRCNN、CSNLN、HAN+、Config (f)…你都掌握了嗎？一文總結超分辨率分析必備經典模型（三）-1

本文將分 3 期進行連載，共介紹 16 個在超分辨率任務上曾取得 SOTA 的經典模型。

• 第 1 期：SRCNN、DRCN、FSRCNN、ESPCN、SRGAN、RED

• 第 2 期：VDSR、DRRN、LapSRN、RCAN、DSRN

• 第 3 期：SFT-GAN、CSRCNN、CSNLN、HAN+、Config (f)

  
  

圖像超分辨率（Super Resolution，SR）是指從低分辨率（Low Resolution，LR）圖像中恢復高分辨率（High Resolution, HR）圖像的過程，是計算機視覺和圖像處理中一類重要的圖像處理技術。SR在現實世界中有著廣泛的應用，如醫療成像、監控和安全等。除了提高圖像感知質量外，SR還有助于改善其他計算機視覺任務。一般來說，超分辨率分析是非常具有挑戰性的，而且本身就是一個難題，因為總是有多個HR圖像對應于一個LR圖像。在已有文獻中，研究人員提出了各種經典的SR方法，包括基于預測的方法、基于邊緣的方法、統計方法、基于patch的方法和稀疏表示方法等。

近年來，隨著深度學習技術的快速發展，基于深度學習的SR模型得到了快速發展，并在SR的各種基準上取得了最先進的性能。各種各樣的深度學習方法已經被應用于SR任務，從早期的基于卷積神經網絡（CNN）的方法到最近使用的生成對抗網絡的SR方法。一般來說，使用深度學習技術的SR方法在以下主要方面有所不同：不同類型的網絡架構、不同類型的損失函數、不同類型的學習原理和策略等。

超分辨率分析可以分為視頻超分辨率VSR(Video Super Resolution) 和單幀超分辨率SISR(Single Image Super Resolution)，本文重點關注單幀超分辨率分析方法。本文聚焦于深度學習技術，回顧SISR中必備的TOP模型。

本文是cvpr2018的圖像超分辨率論文，引入了圖像的分割掩碼作為超分辨率的先驗特征條件，即SFT layers。具體的，文章提出了使用先驗類別信息來解決超分辨率紋理不真實的問題，就是在超分辨率的合成中使用語義圖，語義圖的生成使用了圖像分割網絡。文章探討了不同分辨率下的語義分割的誤差，比較后發現其實高低分辨率圖像對于分割的精度影響不大。整個模型的架構如圖1。

圖1 SFT layer可以方便地應用于現有的SR網絡。所有的SFT layer共享一個條件網絡。條件網絡的作用是從先驗中產生中間條件，并將條件廣播給所有的SFT layers，以便進一步產生調制參數

如圖1，模型有兩個輸入，一個是低分辨率圖像，另一個是分割語義圖，分割語義圖經過condition network 生成conditions feature map ，值得注意的是整個網絡每一層的conditions feature map 都是共享的，而SFT layer是不共享的。這就相當于每隔一個卷積層就有一個conditions 的SFT layer。

SRGAN總體公式如下：

模型可分為生成和鑒別兩部分。其中，生成器Gθ由兩部分組成：條件網絡和SR網絡。條件網絡將分割概率圖作為輸入，然后由四個卷積層處理。它生成所有SFT層共享的中間條件。為了避免一個圖像中不同分類區域的干擾，通過對所有卷積層使用1×1的核來限制條件網絡的感受野。SR網絡由16個殘差塊構建，具有所提出的SFT層，其以共享條件作為輸入并學習（γ，β）以通過應用仿射變換來調制特征圖。引入Skip connection用于簡化深度CNN的訓練。通過使用最近鄰上采樣后跟一個卷積層來上采樣特征。上采樣操作在網絡的后半部分中執行，因此大多數計算在LR空間中完成。

對于鑒別器Dη，應用VGG來逐漸減小空間維度。鑒別器不僅可以區分輸入是真的還是假的，還可以預測輸入屬于哪個類別。

SFT layer 是一個小型的network 用于生成不同層的condition 信息。SFT layer 有兩個輸入，一個是condition network 的輸出conditions，另一個則是上一層的輸出F。conditions 計算出γ, β ，繼而計算出整個SFT layer的輸出，而整個SFT layer又作為下一層的輸入。

最后，有兩個目標函數，一個是vgg感知loss ，另一個是鑒別器的loss：

當前SOTA！平臺收錄SFT-GAN共3個模型實現。