讓對方把頭側(cè)扭90°，這一動作可辨別Deepfake偽造人臉

看似「天衣無縫」的偽造技術(shù)，也是有漏洞的。

視頻偽造是 Deepfake 技術(shù)最為主要的代表，其制作假視頻的技術(shù)也被稱為人工智能換臉（AI face swap)。一直以來，研究者發(fā)現(xiàn) DeepFake 存在著這樣一個漏洞：當偽造人臉頭部轉(zhuǎn)到 90 度時（側(cè)臉 90 度），對方就能識別視頻中的人臉是不是偽造的。
這是怎么回事呢？在最近的一項測試中，技術(shù)專家兼評論員 Bob Doyle 允許研究人員進行一些關(guān)于人臉偽造的測試，期間研究人員采用 DeepFaceLive 來改變他的外貌。DeepFaceLive 是流行的 DeepFaceLab 軟件的一個直播版本，能夠幫助用戶實時創(chuàng)建不同的視頻身份。
測試中，在人臉轉(zhuǎn)到 90 度以前，其余角度我們很難發(fā)現(xiàn)這張臉是偽造的。

為什么人臉轉(zhuǎn)到 90 度時會出現(xiàn)漏洞？原來這些深度偽造模型都沒有經(jīng)過高質(zhì)量的人臉輪廓數(shù)據(jù)訓練，因而不能轉(zhuǎn)換面部的不同邊界，或者執(zhí)行必要的修復。

不過，借助這一漏洞，我們可以判斷視頻會議中與自己交談的人是真實的還是偽造的。
橫向限制
這一漏洞是怎么造成的呢？
在 Deepfake 技術(shù)中，用于估計面部姿態(tài)的標準軟件如「Facial Alignment Network」，在有些情況下不能無法可靠地工作。事實上，大多數(shù)基于 2D 的人臉對齊算法在從正面人臉映射到側(cè)面人臉中，僅僅對齊了 50-60% 特征點。
我們以論文《Joint Multi-view Face Alignment in the Wild》來說，其展示了多視點人臉對齊，正面對齊包含 68 個特征點，而側(cè)臉對齊只有 39 個。典型的 2D 人臉對齊算法使側(cè)輪廓視圖隱藏了 50% 的特征點，這會妨礙模型的識別、訓練以及后續(xù)人臉合成。

意識到這個缺陷后，許多病毒式 Deepfake 都會有針對性地進行規(guī)避。一些人做出了一些努力，比如 YouTube 上就有人做過實驗，他們通過大量的后期處理，將 Jerry Seinfeld 的臉替換到《低俗小說》 (1994) 中的緊張場景中，獲得了很棒的側(cè)視圖。    
當然，完成如此逼真的換臉還需要大量的訓練。本次用到了《宋飛傳》里的鏡頭，時長達 66 小時，其中大部分鏡頭是 Jerry Seinfeld 的。

影視演員可以獲得大量人臉視頻，但對于我們普通人來說，側(cè)面 90 度的照片卻很少，可能是側(cè)面照不能表達太多東西，而更多角度的照片可以提供更豐富的內(nèi)容。
由于可用數(shù)據(jù)缺乏，很難獲得一系列普通人的圖像。因此，Deepfake 這一缺點提供了一種潛在的方法，可以在實時視頻通話中發(fā)現(xiàn)「偽造」的人臉。如果你懷疑和你說話的人可能是一個「深度偽造的人臉」，你可以讓他們側(cè)身一到兩秒鐘，看看對方有沒有破綻露出。
今年 5 月，AI 安全公司 Sensity 發(fā)布了一份報告和一段視頻，展示了一個類似 DeepFaceLive 的系統(tǒng)，該系統(tǒng)通過偽造身份成功地騙過活體檢測器。
Sensity 視頻截圖展示了 deepfake 對活體檢測器的攻擊。圖源：theverge
Sensity CEO 兼首席科學家 Giorgio Patrini 表示，他們在實驗和測試中沒有進行 90 度人臉檢測，并表示將人臉的側(cè)視圖用作身份驗證的一種形式時，確實可以提供一些保護來防止 deepfake 技術(shù)。正如前面所指出的，缺乏廣泛可用的側(cè)視圖數(shù)據(jù)，使得 deepfake 檢測器的訓練非常具有挑戰(zhàn)性。
意識到訓練數(shù)據(jù)的缺陷，論文《Dual-Generator Face Reenactment》的附加材料中提供了一些包含 90 度的人臉照片。

自該現(xiàn)象出現(xiàn)以來，研究界一直在深入研究和開發(fā) deepfake 檢測技術(shù)，但在一定程度上相關(guān)技術(shù)還是受到了阻礙。
盡管如此，研究人員還是提出了一些解決方案來保證視頻通話中的安全。這些解決方案包括測量監(jiān)視器照明、評估面部區(qū)域的不一致等方法。
Deepfake 換臉能夠以假亂真，但鑒別算法總能找到破綻，以控制假視頻的傳播。
原文鏈接：https://metaphysic.ai/to-uncover-a-deepfake-video-call-ask-the-caller-to-turn-sideways/:https://www.theverge.com/2022/5/18/23092964/deepfake-attack-facial-recognition-liveness-test-banks-sensity-report