CVPR 2022 ActivityNet競賽冠軍：中科院深圳先進院提出高低分雙模態行為識別框架

來源：新智元

安防監控是智慧城市的重要組成部分。然而，在城市監控場景下，行人目標往往距離攝像頭遠，所占像素小，這為理解目標的行為帶來了很大挑戰。
為此，CVPR 2022 ActivityNet: Tiny Actions Challenge引入了TinyVIRAT低分辨率行為識別視頻數據集。該數據集從監控攝像頭上截取視頻，沒有包含任何人為的下采樣和降質處理，填補了真實場景下的低分辨率行為識別數據的空白。

TinyVIRAT數據集共有訓練數據16950個、驗證數據3308個、測試數據6097個，平均每個視頻數據長度在3秒左右。
這些低分辨視頻數據的分辨率從10x10像素到128x128像素不等，一共包含26種行為標簽，包含人體動作和汽車等交通工具行駛相關的類別[4]。圖1 TinyVIRAT低分辨行為識別數據集示例
這個數據集存在兩個主要的識別難點：

1. 目標離攝像頭的距離很遠，分辨率很低，行為細節模糊；
2. 數據集呈現嚴重的類別不平衡現象。圖2展示了TinyVIRAT訓練集的樣本比例分布。

圖2 TinyVIRAT訓練集樣本分布比例圖
為了解決上述問題，我們采用了如圖3所示識別流程：

1. 通過精選識別骨干網絡并進行數據增強和平衡來減輕數據集的過擬合；
2. 設計了高低分雙模態行為識別框架，通過高分辨率識別網絡的知識指導低分辨率行為識別網絡的訓練；
3. 進行模型融合和后處理應對數據集的類別不均衡現象。

圖3 低分辨率行為識別方案流程圖

圖4 Uniformer/CSN 行為識別網絡結構示意圖
由于本數據集是真實場景下的低分辨率數據集，直接使用這兩種網絡效果并不是很好，需要進行額外的參數設置。在訓練和測試的過程中，我們把每個視頻平均分成16份，在每一份隨機選擇一幀得到視頻采樣數據。
為了緩解數據集類別不平衡的現象，我們選出了訓練集中的長尾類別數據，把它們進行水平翻轉擴充數據量。如表1所示，這兩種額外設置提升了Baseline結果。
表1 視頻骨干網絡和主要訓練設定實驗結果

為了降低數據的噪聲，增強部分動作細節，我們提出一種高低分雙模態模型蒸餾訓練框架，該框架以高分辨率視頻知識作為引導，提升低分辨率目標行為的識別精度。訓練框架流程圖如圖5所示：
圖5 高低分雙模態模型蒸餾訓練框架
首先，我們應用預訓練的RealBasicVSR[3]視頻超分辨率模型，將低分辨率視頻轉化成分辨率較高、動作細節較為清晰的訓練數據，如圖6所示。以這些視頻為基礎，我們可以訓練高分辨率視頻的特征提取網絡。
圖6 超分辨率數據和源數據對比圖
第二，對每一個低分辨率訓練視頻，我們把它相對應的高分辨率視頻送到高分辨率特征提取模型中，得到高分辨率分支的類別預測分數（圖5上方分支）。同時，我們也把原有的低分辨視頻送到低分辨率分支（圖5下方分支），得到相應的類別預測分數。
第三，我們使用兩種監督信號進行模型訓練，使得高分辨率網絡的知識能夠指導低分辨率模型的學習。損失函數如式所示：

 指的是知識蒸餾損失（例如MSE損失）， p代表低分辨率分支的預測向量，  代表高分辨率分 支得到的額外知識。 是預測向量和真實標簽的交叉熵損失。
消融實驗結果如表2所示。表中2021 TinyAction Top1 Model指的是2021年ActivityNet Tiny Actions Challenge的最佳團隊模型[4]，它在TinyVIRAT數據集上的識別F1 Score為0.478。
表中ir-CSN表示用低分辨率數據直接訓練得到的模型，ir-CSN(SR)表示用超分辨率后的數據訓練得到模型，ir-CSN(SR+KD)指的是用高低分雙模態模型蒸餾機制訓練得到的模型。ir-CSN(SR+KD)模型取得了最佳的提交結果，在單模型上比去年的最佳方案提升了1.4%。
表2 高低分雙模態蒸餾框架消融實驗結果

第一，我們發現，訓練初期得到的模型在長尾類別的識別上比經過充分訓練的模型效果好。因此，對于每一個網路結構，我們會選用多個不同訓練階段的模型。經過大量消融實驗和提交，我們最終選用12個模型進行融合。
第二，為了進一步提高F1-Score，我們為所有的識別類別設定識別閾值。樣本數目大的類別應用較大的閾值，長尾類別設定較小的閾值。
最后，我們采用類別的先驗知識輔助模型融合，進一步提升長尾類別的識別精度。例如，我們借鑒2021年DeepBlue AI冠軍團隊的后處理方法[4]，利用互斥標簽輔助判定。假設texting_phone和talking_phone兩種互斥類別的預測分數都高過設定閾值，只選擇預測分數較高的那個類。
經過模型融合與后處理，我們最終取得0.883的F1 Score，如表3所示。在榜單上排名第1。
表3 模型融合和后處理最終結果
比賽結果鏈接：https://codalab.lisn.upsaclay.fr/competitions/1832#results

1. 選擇了魯棒高效的行為識別骨干網絡，對長尾數據進行平衡和增強；
2. 提出了高低分雙模態行為識別訓練框架，用超分辨率網絡知識指導低分辨率行為識別；
3. 設計面向長尾類別的模型融合和后處理方案。

關于低分辨率行為識別相關技術的應用范圍較為廣泛。在視頻輔助裁判方面，該技術對真實情況下分辨率較低的場景具有一定的數據增強和識別能力，可以輔助判斷一些離攝像機很遠的動作類別，減少因攝像機遠或者模糊導致的誤判。
在面對龐大的低分辨視頻數據庫時，該技術可以對低分辨率視頻進行分類，方便搜索引擎搜索。在智能安防領域，此技術可以輔助監控遠離攝像頭的一些模糊信息，減少監控探頭的監控死角。
綜上所述，本文提出的低分辨率行為識別技術在現實生活中具有較為廣泛的應用價值。
參考資料：1. Tran D, Wang H, Torresani L, et al. A closer look at spatiotemporal convolutions for action recognition[C]//Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. 2018: 6450-6459.2. Li K, Wang Y, Zhang J, et al. UniFormer: Unifying Convolution and Self-attention for Visual Recognition[C]// In Inter-national Conference on Learning Representations, 20223. Chan K C K, Zhou S, Xu X, et al. Investigating Tradeoffs in Real-World Video Super-Resolution[J]. arXiv preprint arXiv:2111.12704, 2021.4. Tirupattur P, Rana A J, Sangam T, et al. TinyAction Challenge: Recognizing Real-world Low-resolution Activities in Videos[J]. arXiv preprint arXiv:2107.11494, 2021.