博客專欄

        EEPW首頁 > 博客 > 選擇性細化網(wǎng)絡用于高性能人臉檢測

        選擇性細化網(wǎng)絡用于高性能人臉檢測

        發(fā)布人:CV研究院 時間:2022-12-22 來源:工程師 發(fā)布文章

        人臉檢測



        人臉檢測是自動人臉識別系統(tǒng)中的一個關鍵環(huán)節(jié)。早期的人臉識別研究主要針對具有較強約束條件的人臉圖象(如無背景的圖象),往往假設人臉位置一直或者容易獲得,因此人臉檢測問題并未受到重視。 隨著電子商務等應用的發(fā)展,人臉識別成為最有潛力的生物身份驗證手段,這種應用背景要求自動人臉識別系統(tǒng)能夠對一般圖象具有一定的識別能力,由此所面臨的一系列問題使得人臉檢測開始作為一個獨立的課題受到研究者的重視。今天,人臉檢測的應用背景已經(jīng)遠遠超出了人臉識別系統(tǒng)的范疇,在基于內(nèi)容的檢索、數(shù)字視頻處理、視頻檢測等方面有著重要的應用價值。導讀

        高性能人臉檢測仍然是一個非常具有挑戰(zhàn)性的問題,特別是在有很多小尺度人臉的情況下。今天分享的作者就提出了一種新的single-shot人臉檢測方法-選擇性細化網(wǎng)絡(SRN),它將新的兩步分類和回歸操作選擇性地引入到基于錨點的人臉檢測器中,以減少假陽性,同時提高定位精度。

        特別是SRN由兩個模塊組成:選擇性兩步分類(STC)模塊和選擇性兩步回歸(STR)模塊。STC的目的是從低層檢測層中篩選出大多數(shù)簡單的負樣本錨,以減少后續(xù)分類器的搜索空間,而STR的目的是粗略地調(diào)整高層次檢測層中錨的位置和大小,以便為后續(xù)的回歸器提供更好的初始化。

        此外,還設計了一個感受野增強(RFE)模塊,以提供更多樣化的感受野,這有助于更好地捕捉一些極端姿勢的面孔。因此,所提出的SRN檢測器在所有廣泛使用的人臉檢測基準(包括AFW、PASCAL人臉、FDDB和WIDER FACE數(shù)據(jù)集)上都取得了最優(yōu)的性能。

        圖片相關工作背景

        上世紀90年代,人臉檢測就是一個極具挑戰(zhàn)性的研究領域。Viola和Jones首先使用Haar特征和Adaboost對人臉檢測器進行訓練,具有很好的準確性和效率,之后激發(fā)了幾種不同的方法(【1】Liao, S.; Jain, A. K.; and Li, S. Z. 2016. A fast and accurate unconstrained face detector. TPAMI;【2】Brubaker, S. C.; Wu, J.; Sun, J.; Mullin, M. D.; and Rehg, J. M. 2008. On the design of cascades of boosted ensembles
        for face detection. IJCV
        )。除了那些之外,另一個重要的工作是引入可變形的部件模型(DPM)。

        最近,基于CNN的方法已經(jīng)在人臉檢測占據(jù)了重要位置。Cascade CNN通過訓練一個復雜的CNN提高了檢測精度。Qin等人建議對級聯(lián)的CNNs進行聯(lián)合訓練,實現(xiàn)端到端優(yōu)化(Qin, H.; Yan, J.; Li, X.; and Hu, X. 2016. Joint training of cascaded CNN for face detection. In CVPR.)。MTCN提出了多任務級聯(lián)的檢測和對齊方法。Faceness將人臉檢測作為對人臉部件進行評分,以檢測嚴重遮擋下的人臉。UnitBox引入IoU損失用于邊界框預測。EMO提出了一個預期的最大重疊分數(shù),以評估錨匹配質(zhì)量。SAFD開發(fā)了一個尺度候選階段,該階段自動標準化檢測前的人臉尺寸。SSAP注意力在圖像金字塔中的特定比例和每個刻度層中的有效位置。最近的工作(Bai, Y.; Zhang, Y.; Ding, M.; and Ghanem, B. 2018. Finding tiny faces in the wild with generative adversarial network. In CVPR)設計了一種新的網(wǎng)絡,從一個很小的模糊中以直接產(chǎn)生清晰的超分辨率人臉。

        圖片

        此外,人臉檢測還繼承了一般目標檢測器的一些成就,如 Faster RCNN、SSD、FPN和RetinaNet 。

        Face R-CNN(Ren, S.; He, K.; Girshick, R. B.; and Sun, J. 2017. Faster R-CNN: towards real-time object detection with region proposal networks. TPAMI)將Faster  R-CNN 與難樣本挖掘結合起來,并取得了優(yōu)秀的結果。Face Boxes引入了一種基于SSD的CPU實時檢測器。Face R-FCN在人臉檢測中應用R-FCN ,并做出相應的進行改進。人臉檢測模型為了尋找微小人臉為不同的尺度訓練單獨的探測器。S3FD在SSD上提出了多種策略,以補償小面孔的匹配問題。SSH在每個預測模塊上使用大型過濾器對上下文信息進行建模。PyramidBox利用具有改進的SSD網(wǎng)絡結構的上下文信息。FAB提出了一個anchor-level的注意力引入RetinaNet,以檢測被遮擋的人臉。

        作者受RefineDet中的多步分類和回歸啟發(fā)和RetinaNet的focal loss,開發(fā)了一種最先進的人臉檢測器。

        主框架圖片Backbone

        框架的主干是ResNet-50,有著6層特征金字塔結構用于SRN。特征圖主要從C2、C3、C4和C5提取獲得,C6和C7僅僅通過兩個簡單的下采樣得到。自下而上和自上而下通道之間的橫向結構是相同的。

        Dedicated Modules

        STC模塊選擇C2、C3、C4、p2、p3和p4執(zhí)行兩步分類,而STR模塊選擇C5、C6、C7、p5、p6和p7進行兩步回歸。RFE模塊負責豐富特征的感受野用于預測目標的類別和位置。

        Loss Function作者在深層結構的末尾附加了一個混合損失,它利用focal loss和平滑的L1損失的優(yōu)點,促使模型專注于更多的難訓練樣本,并學習更好的回歸結果。

        Selective Two-Step Classification



        STC的損失函數(shù)由兩部分組成,即第一步損失和第二步損失。對于第一步,計算這些樣本的focal loss選擇以執(zhí)行兩步分類;對于第二步,只關注那些在第一步過濾后仍然存在的樣本。根據(jù)這些定義,將損失函數(shù)定義如下:圖片

        Selective Two-Step Regression



        在檢測任務中,如何使邊界框的定位更加準確一直是一個具有挑戰(zhàn)性的問題。現(xiàn)有的一步回歸方法依賴于基于不同特征層的回歸,這在一些具有挑戰(zhàn)性的場景中是不準確的,如Ms COCO的評價標準。近年來,采用級聯(lián)結構進行多步回歸是提高檢測邊界框準確性的有效方法。

        然而,盲目地在特定任務( 即人臉檢測)中添加多步回歸往往適得其反,實驗結果(見下表  )表明三個較低金字塔水平的兩步回歸損害了性能。

        圖片

        這種現(xiàn)象背后的原因有兩個: 1) 三個較低的金字塔層次是相關的,有大量的小錨來探測小面孔。 這些小面孔的特征是非常粗糙的特征表示,因此這些小錨很難進行兩步回歸; 2) 在訓練階段,如果讓網(wǎng)絡太關注難樣本的回歸,在低金字塔水平上的任務,它會導致更大的回歸損失和阻礙更重要的分類任務。

         在上述分析的基礎上,我們選擇性地對三個較高的金字塔水平進行了兩步回歸。這種設計背后的動機是充分利用三個較高金字塔層次上大面的詳細特征來回歸更精確的邊界框位置,并使三個較低的金字塔層次更加關注分類任務。這種分而治之的策略使整個框架更加有效。STR損失如下:

        圖片

        Receptive Field Enhancement

        圖片

        實驗結果

        各種設計的有效性

        圖片

        圖片

        在不同數(shù)據(jù)集上的評估


        圖片WIDER FACE上的PR曲線


        *博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點,如有侵權請聯(lián)系工作人員刪除。



        關鍵詞: AI

        相關推薦

        技術專區(qū)

        關閉
        主站蜘蛛池模板: 蓬莱市| 琼海市| 泗洪县| 紫阳县| 蓬莱市| 和林格尔县| 美姑县| 阿勒泰市| 宁南县| 枣庄市| 双柏县| 浦北县| 出国| 襄汾县| 葫芦岛市| 克东县| 宜都市| 湛江市| 高陵县| 柞水县| 鄢陵县| 宜黄县| 包头市| 基隆市| 凌云县| 敖汉旗| 陆川县| 娄烦县| 嘉鱼县| 崇礼县| 永登县| 莱西市| 甘孜县| 巩留县| 临沂市| 龙陵县| 永登县| 湟源县| 玉树县| 德令哈市| 元氏县|