海量圖像視頻分析解決方案

　　城市公共場所往往有成千上萬路監控攝像頭遍布街頭，晝夜不停地監視和錄像，在改善社會治安的同時，也產生出海量的視頻需要監控管理平臺處理。要對這些海量視頻通過人工進行重點圖像的抓拍，困難很大。

　　首先，需要對所有的視頻錄像進行諸秒瀏覽，才能發現重點圖像，這無疑工作量巨大，甚至猶如大海撈針。

　　其次，即使找到了重點圖像，人工抓拍，并且要記錄下對應的原始視頻圖像的時間點等，也是工作量很大，效率很低。由于人的生理特征所限，長時間觀看視頻錄像，容易產生視覺疲勞，還有可能漏掉重要圖像和線索。

　　理想情況是一旦有重要事件發生，系統就可在事后能快速查找到線索。針對上述海量監控視頻錄像的事后分析，傳統以人海戰術為主的視頻線索查找，顯然不能滿足高效查找，正面臨巨大挑戰，急需一種更為高效的、自動的、智能的系統實現上述需求。目前，視頻濃縮摘要技術和視頻分類檢索技術可以解決這一問題。通過視頻濃縮摘要，縮短視頻事件的播放時間，通過目標分類篩查等實現快速查找事件線索，縮小查看范圍的功能，這些都極大地減輕專業巡控隊伍和系統維護人員的工作負荷，這些視頻分析功能的實現和應用將大大提高監控效率。

　　這一技術將傳統的事后被動調用圖像信息變為主動發現視頻監控圖像的可疑點，并透過核查錄入系統，負責將專業巡控隊伍在發現可疑事件時抓取的圖像、圖片資源集中存儲，并生成事件的描述信息，包括基于時間、地點（通道）、事件類型（技防告警、移動偵測等）、標記等，實現基于事件描述的精確查詢功能及視頻錄像的秒級精確定位。

　　本解決方案所描述的“智能海量視頻監控錄像分析及核查錄入解決方案”是深圳久凌軟件技術有限公司核心產品解決方案。其核心技術主要包括三部分：視頻濃縮摘要與圖像快照錄入；視頻目標分類篩查檢索；視頻增強和夜間視頻處理。這三部分塊既可以單獨使用也可以有機配合形成整體解決方案，該系統填補了我國海量視頻監控事后分析取證及視頻目標篩查檢索的空白，技術在國際上處于領先地位。

一、 視頻濃縮摘要與圖像快照錄入子系統

　　由于視頻瀏覽和檢索很耗時，大多數取得的視頻并不會從頭到尾觀看和檢查。視頻濃縮摘要就成了一種瀏覽檢索視頻的有效工具。

　　1、技術原理

　　“視頻摘要”是指從原始視頻中提取感興趣的目標的活動管道三維信息，和背景視頻合成剪輯而成的較短視頻片斷，它通過同時播放多個事件，將一天的視頻被壓縮成一個簡短到幾十分鐘的事件摘要視頻；其中包含了原視頻中所有重要的目標活動詳情和快照。視頻濃縮摘要可以采用原始視頻分辨率，也可以根據存儲要求降低分辨率。管理人員通過點擊濃縮視頻中的目標或者視頻左側快照，播放目標出現前后的原始視頻。

　　更加快捷的方式是通過分割前景和背景，提取活動目標，用快照列表這種更加直觀便捷的方式展示。在視頻摘要和快照列表中，對于人或車輛目標，可以自動高亮顯示目標的邊框，顯示目標出現的時間，移動軌跡，并且支持用戶通過點擊目標快照，播放目標出現前后的原始視頻，或者該目標活動與背景合成的視頻。

　　　　　　　　　　　　　　　　　24小時原始監控視頻

濃縮為數分鐘視頻摘要

　　2、 應用

　　為了提高濃縮比，提高效果，可以在視頻濃縮時指定“敏感區”，這樣只會對進入這個區域的活動目標進行摘要。

　　本系統支持禁區設置，對于進入禁區和離開禁區的目標進行提取，同時對于邊界絆線事件、人物尾隨、異常移動、車輛違規以及人車交互事件進行檢測與自動標注。

　　在本系統中，專業巡查人員（管理人員）瀏覽濃縮視頻或者快照列表，發現感興趣的目標以后，點擊目標，播放目標出現時的原始視頻，在系統自動生成目標的時間、地點（通道）、目標高度、運動方向、目標主要顏色次要顏色和事件類型的基礎上，管理人員可以手工完善事件類型，輸入事件標記及其它用于索引的信息。支持按照目標出現的時間、地點（通道）、目標高度、運動方向、主導顏色和事件類型查詢事件。本系統相比于傳統視頻播放查找事件線索標注，能提供效率數十倍，有效減輕巡查隊伍的工作負荷。

圖　通過3×3視頻快照找到原始視頻

圖　 通過點擊濃縮視頻摘要 自動找到原始視頻

　　3、特點

　　● 數分鐘看完一天的視頻，無需快進，活動細節仍以真實速度播放

　　● 濃縮密度，感興趣區域或事件檢測區域可自由設置

　　● 從濃縮視頻中選擇、點擊回放某一目標物體

　　● 支持自動記錄目標出現的時間、地點（通道）、目標高度、運動方向、主要顏色、次要顏色和事件類型

　　● 支持手工修改事件屬性和輸入事件標記

　　● 自由添加針對軌跡，人車類別等分類條件，實現基于分類的視頻濃縮

　　● 按人車和顏色，大小速度方向等條件展示目標快照

　　● 簡單易用，無縫連接DVR/DVS和第三方監控管理平臺

　　● 支持按照目標出現的時間、地點（通道）、目標高度、運動方向、顏色和事件類型查詢事件

二、視頻目標分類篩查檢索系統

　　該系統是在視頻濃縮摘要與圖像快照錄入子系統的基礎上開發出來的，以其為基礎，同時又增加了新的功能。

　　1、 原理與應用

　　配合目擊證人提供的線索，在對事故現場的視頻摘要進行快速瀏覽以后，巡控人員（管理員）就可以找到一些有用的線索，如果在某一視頻摘要中發現了一些感興趣的目標，通常需要在更多位置的攝像機攝錄的視頻文件中搜索和檢查該目標（嫌疑人或車輛）是否在其它地方出現過。

　　管理員通過提供目標特征（人車類別，顏色、高度、方向、速度等）、一幅快照樣本或素描圖來請求搜索。視頻目標分類篩查檢索系統，首先使用一種有效的運動分割方法提取出運動的目標細節，而后這些運動目標的基本特征作為元數據被提取出來，存放到數據庫。在整個的檢索過程中，系統將提取檢索輸入的特征， 請求比對數據庫中已經索引好的目標特征，而不用重新處理視頻。最后，擁有足夠高相關度的視頻目標快照將被作為檢索篩查結果顯示出來。

　　本系統可以多攝像機視頻同步檢索，無縫接駁核查錄入存儲中心系統。系統支持多種檢索條件，包括時間、地點（通道）、事件（技防告警、移動偵測等）、標記等的精確查詢功能，并實現視頻錄像的秒級精確定位。提供基于監控探頭屬性（包括地理位置/GIS坐標、探頭規格、監控范圍、特殊應用功能等）、事件、目標快照、目標素描等的模糊查詢功能，對應的模糊識別方法實現市局與分局、派出所、街道之間圖像資源查詢同一個平臺框架下通過數據庫共享使用。

　　2、 特點

　　● 支持多種檢索條件，包括時間、地點（通道）、事件（技防告警、移動偵測等）、標記等的精確查詢功能

　　● 支持基于事件、目標分類或者樣本檢索等模糊查詢檢索功能

　　● 可以多攝像機視頻同步檢索，無縫接駁核查錄入存儲中心系統

　　● 通過核查錄入存儲中心系統，實現跨分局的同步檢索

　　● 更加能夠發揮云計算并行處理的優勢

　　● 直接生成快照列表供管理員查找，快速找到目標可能的所在位置

　　● 點擊目標快照，播放原始視頻

　　● 支持自動記錄目標出現的時間、地點（通道）、目標高度、運動方向、主要顏色、次要顏色和事件類型

　　● 支持手工修改事件屬性和輸入事件標記

三、視頻增強和夜間視頻處理子系統

　　這個子系統是對前面兩個系統的補充。視頻增強和夜間視頻處理子系統，可以作為本系統的前置處理模塊，用于提升視頻質量。

　　針對夜間低照度和高噪聲問題，視頻壓縮產生的方塊效應以及畫面閃爍，運動產生的模糊，系統首創了通過光流估計及邊沿銳化技術，解決夜間弱光條件下視頻去模糊和低質量圖像提升問題，針對運動模糊的模糊核的估計去模糊技術，可以將人眼無法分辨的模糊圖像圖片還原。

運動過程中不清晰的卡車圖像

運動模糊去除　還原后的圖像

　　綜上所述，智能海量視頻監控錄像分析系統能夠解決用戶實際需求：系統視頻的實時調看和錄像回放功能，并能夠實現對重點圖像的抓拍功能，并對抓拍照片的抓拍時間、地點、點位編號、抓拍原因、案事件簡要內容、抓拍目標特征等信息進行記錄和查詢等需求方面，完全能夠滿足功能要求，而且與傳統方法相比，具有明顯優勢。　　　

　　我們可以將其概括為“五放心”的視頻增強、濃縮摘要與檢索產品，即：

　　領導稱心（領導手機查看高質量）

　　使用舒心（分類檢索不用大海撈針）

　　維護省心（每天只需幾分鐘瀏覽）

　　環保放心（節省硬盤）

　　贏得民心（改善治安）

　　海量視頻監控錄像分析和核查錄入系統解決方案的應用可以描述為：

　　1.管理人員根據案件事件線索，比如一個“穿紅色上衣的成年嫌疑人”出現在現場，案發時間、地點（攝像機通道號）作為案情錄入；

　　2.核查錄入軟件調度相關地點及附近地點視頻錄像到存儲中心；

　　3.如果視頻不清晰，先用視頻增強軟件預處理；

　　4.先進行單個攝像頭視頻的處理，使用視頻濃縮摘要與圖像快照錄入子系統生成快照列表和濃縮視頻文件，通過快照找出嫌疑目標，錄入事件信息到核查錄入系統

　　5. 通過視頻目標分類篩查檢索子系統搜索周邊攝像機案發前后的錄像文件，找出從目標進入到離開現場的全程軌跡，錄入跨攝像頭事件全程信息到核查錄入系統

　　6.上述自動搜索系統可以與人工核查錄入系統并存。