AI助力社會安全，最新視頻異常行為檢測方法框架

計算機視覺研究院專欄

作者：Edison_G

計算機視覺技術在越來越多的場景起到重要的作用，現在的視頻異常行為檢測就可以今早給予警察預警信息，大大減少暴力事件、游行游街行為、聚集性活動等行為的發生。

01

前景

目前社會中始終會出現多多少少的異常行為，在目前人工智能發展的形式中，幾乎人均被幾個攝像頭拍攝到的情況下，本次熱點新聞事件中，經過了較長時間都沒有得到警力的幫助，無非就是周圍群眾沒有及時報警制止該行為，另一種就是安裝的攝像頭沒有警報功能。如果在此終端的基礎上增加除了錄像功能外的警報功能，就更加完美。

好比在攝像頭實時監控下，如果發現了異常行為，就會及時將報警信息反饋給中心端（一般是警察中心或者安保監控室），當員工看到警報，再通過視頻確認，可以針對性作出一些措施，可能會大大減少犯罪的行為，也較大的提升社會安全度。

今天我們就來說說視頻實時行為異常檢測的一些事！

02

概要

今天分享的干貨中，研究者解決了異常檢測的問題，即檢測視頻序列中的異常事件。基于卷積神經網絡 (CNN) 的異常檢測方法通常利用代理任務（例如重建輸入視頻幀）來學習描述正態性的模型，而不會在訓練時看到異常樣本，并在測試時使用重建誤差來量化異常的程度。這些方法的主要缺點是它們沒有明確考慮正常模式的多樣性，而CNN強大的表示能力允許重建異常視頻幀。

為了解決這個問題，有研究者提出了一種異常檢測的無監督學習方法，它明確地考慮了正常模式的多樣性，同時降低了CNN的表示能力。為此，研究者建議使用具有新更新方案的內存模塊，其中內存中的項目記錄正常數據的原型模式。還提出了新的特征緊湊性和分離損失來訓練記憶，提高記憶項目和從正常數據中深度學習的特征的辨別力。標準基準的實驗結果證明了新提出方法的有效性和效率，其性能優于現有技術。

03

新框架簡述

新模型在CUHK Avenue上的特征和記憶項目分布。特征和項目分別以點和星顯示。具有相同顏色的點映射到同一個項目。內存中的項目捕獲正常數據的各種原型模式。這些特征具有高度的判別力，并且相似的圖像塊可以很好地聚類。

在下圖中展示了新框架的概述。重建輸入幀或預測未來的無監督異常檢測。輸入四個連續的視頻幀來預測第五個用于預測任務。由于預測可以被認為是使用以前的幀重建未來幀，使用幾乎相同的網絡架構，兩個任務的損失相同。在下文中詳細描述了研究者用于重建任務的方法。

新模型主要由三個組件組成：編碼器、內存模塊和****。 

編碼器輸入一個正常的視頻幀并提取查詢特征。然后使用這些特征來檢索記憶項目中的原型正常模式并更新記憶。將聚合（即讀取）的查詢特征和記憶項提供給****，以重建輸入視頻幀。使用端到端的重構、特征緊湊性和特征分離損失來訓練新模型。 

在測試時，使用加權正則分數來防止內存被異常視頻幀更新。計算輸入幀與其重建之間的差異以及查詢特征與內存中最近項目之間的距離，以量化視頻幀中異常的程度。

讀取和更新內存圖解

04

實驗及總結

異常行為應用的領域較廣，比如校園車輛行人不規范的異常，交通路口闖紅燈行為，廣場大面積聚集活動等應用。如下圖：

或者在學校，通過該技術監測學生上課聽課程度，學生到課率等行為。

本次新框架的實驗結果，如下表：

輸入幀（左）；預測誤差（中）；異常區域（右）。我們可以看到新模型定位了異常事件的區域。