用生物信號檢測Deepfake，這個新方法會很快失效嗎？

讓 Deepfake 越來越逼真的一個核心技術是 GAN（Generative Adversarial Network），也就是生成對抗網絡。它的原理類似左右手互博 —— 生成器生成假視頻，鑒別器用以鑒別真偽，以此不斷提高造假的質量。

正因如此，檢測 Deepfake 的方法很容易被超越。比如在 2018 年，就有研究通過人物的眨眼是否自然來判斷視頻的真偽。但是很快，這個特征就被下一代的 Deepfake 納入訓練內容，制造出眨眼自然的人物。

類似的檢測思路還有人物的微表情：比如特朗普會如何撅起嘴，或者別的政客如何挑起眉毛。這與眼睛的動態一樣，經過模型的優化后，不難被機器模仿。

眼動和臉部微表情的檢測思路，主要是從已經生成的內容出發，試圖尋找哪里可能有破綻；那有沒有生成器無法捕捉和實現的特征？也就是，自然界中，是否存在某些難以模仿的信息？

由此思路出發，美國漢賓頓大學教授尹立軍和他的學生將生物信號 PPG 引入 Deepfake 檢測技術。那么利用生物信號來檢測 Deepfake，有什么特殊性？

新檢測方式：生物信號

尹立軍告訴 DeepTech，PPG 信號已經應用在遠程醫療等領域，即通過視頻信號讀取出一個人的心率數據。PPG 叫做光體積變化描記法，其原理是，脈搏的壓縮和擴張，會帶來血紅蛋白與氧氣有規律的結合，由此會帶來全身血管的明暗變化。

這一細微的變化，遠超出人眼的捕捉能力，但是卻可以通過分析視頻像素獲得。將這一指標運用在 Deepfake 檢測中，就是去檢測視頻中人物心率的時空一致性。

“因為你是一個人，從你身上拿一部分，或者是從脖子上拿一塊，PPG 信號應該是一致的。” 但是這對于目前 Deepfake 偽造出來的人物形象來說，就很困難。

就具體檢測方式而言，空間上，可選取人物臉部不同的區域，以分析其信號的一致性；時間上，可通過在一秒視頻中抓取至少 30 幀，看每一幀預測出來的心跳頻率是否一致。“如果是真人，至少 5 秒鐘之內的心率應該是一致的。”

基于這一方法，研究人員在已有的數據集和包含了網上 “野生” 視頻的數據集上進行測試，均實現了 90% 以上的辨別率。

在此基礎上，尹立軍和學生進行第二項研究，可以將假視頻進行溯源。即分析出 Deepfake 視頻的生成模型。

這是由于在 Deepfake 視頻中人物的心跳是假的，通過假心跳信息，能夠分析出殘差的特征。殘差是模型預估值與實際值之間的偏差。通過殘差信息，就能夠追溯到原始模型。

目前，這一方法能夠分辨出四種 Deepfake 的生成模型（Deepfakes、Face2Face、FaceSWap、NeuralTex）。

無獨有偶，另外一個華人科學家團隊也開發出了采用 PPG 信號檢測 Deepfake 的模型。日本九州大學的馬雷教授以及新加坡南洋理工大學的郭青等人開發出了 DeepRhythm。

DeepRhythm 采用雙時空 Attention 來檢測人臉的動態變化和偽造類型。郭青告訴 DeepTech，這里面有兩個雙重的 Attention，即注意力機制。實現檢測需要將人的生物信號提取并且放大，這部分工作難點在于，視頻是在某些幀上進行竄改的，而不同幀的竄改效果不一致。

他們想抓住那些做得不夠好的區域，這里采用到了第一個雙重的 Attention，一方面是人為指定某些重要區域，二是通過網絡自身學習得到一些區域。

另外一個雙重 Attention 則是針對視頻時間上的特征，一是通過神經網絡學習，讓模型抓取被篡改的視頻片段，二是考慮到某些視頻質量受損，缺少一些幀，由此丟失連續信息，在這種情況下，他們引入了 Frame-level Temporal Attention，依靠某些關鍵幀來作為補充信息。

生物信號檢測會失效嗎？

既然 GAN 如此強大，是否有一天基于 PPG 生物信號的檢測也會失效呢？答案是肯定的。但是對于目前的偽造技術來說，想要模仿出這樣的生物信號并不容易。

這是由于，目前生成網絡的可控性還比較差。當增加微觀的生物信號時，可能會導致視覺質量的下降。也就是說，目前的技術，還不能對每個視覺屬性進行獨立操作。

因此生物信號檢測是一個值得關注的方向。當未來的偽造技術發展更好的時候，視頻的分辨率更高，人臉的細節特征就會更多地體現出來，這時候生物信號或許能發揮更大的作用。

尹立軍則向 DeepTech 表示，生物信號是內在特征在臉部的顯現，無論需檢測的數據來自何處，這個內在信號都存在，因此這個信號更可靠。這一檢測方式也就相對更有前景。