MaskedFace-Net | 新冠疫情中的口罩檢測（附論文及源代碼）

戴口罩似乎是限制covid-19傳播的一種解決方案。在這種情況下，有效的識別系統被期望用于檢查人在被管制的區域是否戴口罩。因此，對于訓練深度學習模型來檢測戴口罩的人和不戴口罩的人，一個大量的戴口罩的人臉數據集是必要的。

一、簡要

目前，沒有可用的大型戴口罩人臉圖像數據集允許檢查面部是否正確遮擋。事實上，由于不良行為或個人（如兒童、老年人）的原因，許多人沒有正確地戴上口罩。由于這些原因，一些戴著口罩的活動打算讓人們了解這個問題和良好的做法。

從這個意義上說，有研究者就提出了一種圖像編輯方法和三種遮擋人臉檢測數據集；即正確遮擋人臉數據集(CMFD)、錯誤遮擋人臉數據集(IMFD)及其全局遮擋人臉檢測(MaskedFace-Net)的組合?，F實的遮擋人臉數據集有兩個目標：

i)檢測他們是否有戴口罩；ii)檢測是否正確戴口罩（例如在機場入口或人群中）。

據我們所知，沒有一個大的遮擋人臉數據集為檢測是否戴口罩提供如此細粒度的分類。此外，這項工作在全球提出了應用的遮擋人臉對人臉形變模型，允許生成其他遮擋人臉圖像。新提出的遮擋人臉數據集可以在https://github.com/cabani/MaskedFace-Net上找到。由NVIDIA公司在線公開提供的Flickr-Faces-HQ3 (FFHQ)數據集，已被用于生成MaskedFace-Net。

二、背景與動機

戴口罩似乎是限制covid-19傳播的一種解決方案。在這種情況下，有效的識別系統被期望用于檢查人在被管制的區域是否戴口罩。為了完成這項任務，訓練深度學習模型需要大量的遮擋人臉數據集來檢測。從這個意義上說，在文獻中可以找到一些具有病毒相關遮擋的大型人臉圖像數據集；例如：MAsked FAces dataset (MAFA)【Detecting masked faces in the wild with lle-cnns. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)】，the Real-World Masked Face Dataset (RMFD)【https://github:com/X-zhangyang/Real-World-Masked-Face-Dataset】和一個遮擋人臉識別數據集【Masked face recognition dataset and application. ArXiv:2003.09093】，其由Masked Face Detection Dataset (MFDD), Real-world Masked Face Recognition Dataset (RMFRD) and Simulated Masked Face Recognition Dataset (SMFRD) 組成。

三、應用及數據輸出

人臉圖像數據集(Flickr-Faces-HQ3 (FFHQ))被選為創建一個增強的遮擋人臉圖像。實際上，FFHQ包含70000張高質量的人臉圖像，PNG文件格式為1024×1024分辨率，并公開提供。FFHQ數據集在年齡、種族、視點、燈光和圖像背景方面提供了許多多樣性。它最初是作為生成式對抗性網絡(GAN)的基準而創建的。

全局數據流程圖如下圖所示。

上圖顯示了用于生成“correctly/incorrectly masked face images MaskedFace-Net”數據集的圖像編輯方法的主要階段。特別是，MaskedFace-Net數據集是通過定義一個mask-toface deformable model創建的。

(a)：depicts the structure of the generated MaskedFace-Net dataset.

(b)：shows a pseudo-code of the mask-to-face deformable model applied for generating outputs (a) of the MaskedFace-Net dataset

對于FFHQ【3】的每一個人臉圖像(例如上圖a所示)，基于Haar特征的級聯分類器被用于檢測一個感興趣的區域（檢測人臉矩形）。然后，一個特定的關鍵點檢測器“預測68個關鍵點【4】【5】”應用于感興趣的檢測區域，并允許自動檢測68個面部結構的坐標(見圖b所示的樣本)。

【3】：“dataset of face images Flickr-Faces-HQ (FFHQ)” https://github:com/NVlabs/ffhq-dataset.

【4】：“Facial point annotations” https://ibug:doc:ic:ac:uk/resources/facial-point-annotations/.

【5】：“shape predictor 68 face landmarks.dat.bz2” https://github:com/davisking/dlib-models#shape_predictor_68_face_landmarksdatbz2.

此外，還選擇了廣泛的face protection mask （single-use blue face protection mask）作為映射的參考圖像（見下圖中的示例)。對于后者，已經手動注釋了12個關鍵點，用于描繪遮擋區域（多邊形區域）。

在此階段，針對目標情況定義了四種mask-to-face映射（見下圖）即覆蓋鼻子、嘴和下巴，口罩只覆蓋鼻子和嘴，口罩只覆蓋嘴和下巴，口罩只覆蓋嘴以下。

對于每種類型的mask-to-face映射(CMFD、IMFD1、IMFD2或IMFD3)，從自動檢測到的68個位置中保留12個面部關鍵點的子集；然后與12個遮擋關鍵點匹配。通過這種方式，遮擋可以適合每個目標病例的面部的特定區域。因此，創建了一個mask-to-face deformable model來生成MaskedFace-Net。此外，每個目標情況最多可以有2個關鍵點（在12個關鍵點中），它們的位置在有限的周長內隨機移位。因此，MaskedFace-Net也包含了各種各樣的遮擋定位。

最后，應用了基于遮擋圖像和人臉圖像之間位置所定義的點對點對應關系變換來映射目標人臉區域上的口罩像素。圖中顯示每種類型的人臉位置實例和對應的口罩映射。