人臉專題知識鞏固 （一） | 級聯卷積神經網絡用于人臉檢測

01 簡  要

說到人臉檢測，應該是近幾年不老的話題了，如果要將這技術真的落實到現在產品，其實還有很長的路，不知道大家有沒有發現，很多無人超市開始走下坡路，也許不僅僅是技術的原因之一吧，但是我們只針對技術來說，其實還是有很多不足需要去解決，這也是之后我們人臉這個專集和大家要說的，那我們就開始吧！

級聯算法在人臉檢測中得到了廣泛的應用，其中首先可以使用計算量小的分類器來縮小大部分背景，同時保持召回。

今天說的這個技術就是提出了一種由兩個主要步驟組成的級聯卷積神經網絡方法。第一階段采用低像素候選窗口作為輸入，使淺層卷積神經網絡快速提取候選窗口；在第二階段，調整來自前一階段的窗口的大小，并將其分別用作對應網絡層的輸入。在訓練期間，對hard-樣本進行聯合在線訓練，并采用soft非極大抑制算法對數據集進行測試。整個網絡在FDDB上實現了更好的性能。

開始詳細講解，先和大家回憶經典網絡

02 Fully Convolution Network

如上圖所示，不知道細心的同學有發現差別所在不？？？

差別：全連接結構和完全卷積結構之間的區別表現在每一層的圖像大小上。

經過兩次卷積和池化運算后，原始圖像的分辨率由227×227變為55×55，第二次池化后圖像大小為27×27，輸出到第五層，圖像大小減小到13×13。然而，在FCN中，以H×W大小的圖像為輸入，經過兩次卷積和池化運算后，圖像質量下降到原來圖像的四分之一。然后，在每個池化層之后，圖像的長度和寬度減少一半。

因此，卷積特征是原來尺寸輸出的第五層的十六分之一。最后，將特征縮小到原來大小的三十二分之一。結果表明，經過多次卷積和池化運算后，圖像大小明顯減小。上面提到的最后一層可以得到最小尺寸的熱圖。它可以看作是重要的高維特征圖。隨后，對圖像進行上采樣并將其放大到原始圖像大小，所述位置的像素結果與分類結果相對應。由于無條件圖像大小的顯著優勢，在三個多分辨率網絡中分別采用全卷積層，使得輸入圖像大小不再受限。

03 Spatial Pyramid Pooling

SPP-Net只在整個圖像上運行一次CNN模型。然后，將通過選擇性搜索得到的候選區域映射到特征映射。利用空間金字塔池化和支持向量機對候選目標進行分類。通過不固定尺寸的輸入圖像可以獲得任意大小的卷積特征，只需保證輸入到全連接層的大小是固定的。

使用FCN結構，這樣就不能再限制輸入圖像的大小了。它將產生一個固定大小的輸出。因此，總體結構不同于RCNN。下圖給出了空間金字塔池層結構的流程圖。

04  Cascade Structure

級聯結構在人臉檢測中得到了廣泛的應用，首先可以利用計算量小的分類器來去除大部分背景，同時保持召回。

級聯分類器在多個AdaBoost弱分類器或強分類器上對不同的特征進行順序處理。級聯結構如下圖所示。該流程圖不僅通過對多個弱分類器的組合，生成了一個強級聯分類器，而且提高了分類器的速度。然而，以往方法的每個階段都是獨立訓練的。因此，不同CNN的優化是相互獨立的。

接下來開始今天技術的詳解

結構設計

在這一部分中，我們將描述一個級聯CNN的人臉檢測使用三種不同分辨率的輸入圖像(12×12，24×24和48×48)。將輸入圖像調整到不同的尺度，形成圖像金字塔。

首先，通過微網絡(全卷積候選網絡，FCPN)消除大量的非人臉窗口；然后，將候選窗口的其余部分輸入到第二階段(多尺度網絡，MSN)。MSN-24表示輸入大小為24×24的分支，而MSN-48表示輸入大小為48×48的分支。將MSN-24第五層的卷積特征(即概率分布信息)與MSN-48融合。對不同級聯階段進行hard-樣本挖掘和聯合訓練，完成人臉分類和邊界框回歸兩項任務。

在工作中，輸入圖像被調整到不同尺度，以創建一個圖像金字塔。檢測過程分為兩個階段。第一階段是全卷積候選網絡(FCPN)，它采用低分辨率淺卷積神經網絡結構，快速有效地消除大量背景窗口，如下圖所示。

第二階段是多尺度網絡(MSN)，它結合了加權閾值兩種高分辨率卷積神經網絡的特點，進一步濾除hard-樣本，細化邊界框。結構如下圖。這兩個階段詳細說明見“計算機視覺協會”知識星球。

接下來詳細說說難樣本挖掘！

與傳統分類器訓練中的難樣本挖掘不同，在訓練過程中自適應地選擇難樣本。在每一批中，計算候選區域的損失函數，并根據損失值對它們進行排序。選取損失值最高70%的目標區域作為難樣本，忽略其余30%的簡單樣本。

為了評估該方法的有效性，訓練了兩種不同的比較模型(w/和w/o難樣本的在線訓練)，并對測試集的性能進行了評估。下圖給出了兩個不同的結果。實線顯示了難樣品的挖掘性能。虛線顯示不使用此方法的效果。實驗結果表明，難樣本的在線訓練有助于提高檢測性能，在FDDB上提供1.5%的性能增益。

Soft極大抑制也會”計算機視覺協會“知識星球詳細講解，為啥會有如此高的性能提升！

實  驗

圖 在Pascal Faces數據集上的結果

圖 在FDDB人臉數據集上discROC的結果

圖 在FDDB人臉數據集上contROC的結果

檢測可視化

Best Paper：https://link.springer.com/journal/11042