關于高清視頻監控存儲技術方案的分析

在視頻監控向數字化、網絡化、集成化監控體系發展過程中，“高清”技術日漸成為眾多監控系統的重點應用趨勢。高清帶來更為清晰、直觀的視覺體驗，08年奧運會、09年國慶閱兵和上海世博會中高清監控均得到非常成功的應用，切實加強了對重點區域的安全防范。

高清視頻監控應用背景

高清監控系統碼率大(4Mbps-20Mbps)、綜合性強、數據量巨大，對存儲系統的要求很高，主要體現在以下幾方面：

·性能較高的并發讀寫能力;

·高效合理的空間管理能力;

·海量數據的快速檢索能力;

·穩定可靠的數據保存能力;

·靈活快速的空間擴展能力。

本文將重點介紹海康威視針對高清監控的兩種典型存儲方案--監控CVR存儲和監控云存儲，此兩種方案均采用了針對監控的優化措施和針對海量數據的存儲管理技術，在高清應用中表現突出。

高清監控存儲方案介紹

CVR存儲方案

CVR存儲方案以存儲系統作為數據的管理和存儲核心環節，減少了存儲服務器環節，前端監控數據流直接寫入存儲系統中，平臺和客戶端直接從存儲系統中讀取和調用視頻數據，所有的傳輸協議均采用針對視頻的流媒體傳輸協議。系統架構參見圖1。

該方案在架構上可以省略存儲服務器，消除其固有的性能瓶頸和單點故障隱患。基于流媒體的數據傳輸和數據管理結構，幾乎可以完全消除傳統文件系統下覆蓋讀寫帶來了的文件碎片問題，大幅提高存儲系統的寫入和檢索速度;同時也將徹底消除傳統文件系統由于供電和網絡的不穩定引起的文件系統損壞、數據只讀等問題。

監控云存儲方案

該監控云存儲解決方案，分為應用層、云存儲接口層和云存儲層，前端所有應用只要通過統一的云存儲接口接入云存儲系統即可接受存儲服務。方案具有如下特點：

·采用先進架構，統一的云存儲服務接口，存儲對用戶透明，應用步驟簡化;

·云存儲管理服務器支持集群化，無核心節點;

·云存儲根據各節點壓力和空間情況自動調節負載，實現智能負載均衡;

·部分存儲節點發生故障時，該節點的負載可透明轉移到其它節點，保證服務持續，實現故障對應用層透明;

·通過增加相應節點即可實現云存儲的容量和性能擴展，且對上層應用透明;

·采用了眾多針對視頻應用的流媒體文件系統、緩存優化、數據保護機制等技術，提供近乎100%的服務保證。

高清視頻存儲技術

高性能流存儲技術

該存儲系統從系統架構、文件結構、高速緩存等方面入手，針對監控應用進行了優化設計，推出高性能流存儲系統。數據傳輸均采用數據流方式，底層采用突破傳統文件系統限制的流媒體數據結構，大幅提高了系統性能。

緩存算法順序化技術

監控應用是一種大碼流多并發寫為主的存儲應用，對性能、并發性和穩定性等方面有很高的要求。該存儲系統采用獨特的大緩存順序化算法，把多路隨機并發訪問變為順序訪問，解決了硬盤磁頭因頻繁尋道而導致的性能迅速下降和硬盤壽命縮短的問題。

高效合理的空間管理技術

集群管理技術

高清監控中會產生PB級海量監控數據，存儲設備的數量達數十臺上百臺，因此管理方式的科學高效顯得十分重要。其提供基于集群管理技術的多設備集中管理工具，具有設備集中監控、集群管理、系統軟硬件運行狀態的監控、主動報警，圖像化系統檢測等功能。

針對大規模監控系統提供多設備集群存儲服務，流媒體應用下可以提供EB級海量卷尋址。64位命令尋址，8TB為單位的數據卷，可以多數據卷為同一組錄像提供空間，總的空間大小為264X8TB。

快速的檢索回放技術

海量數據快速數據定位技術

在高清監控應用中，數據高效檢索尤為重要。傳統文件系統中，文件檢索采用的是“目錄->子目錄->文件->定位”的檢索步驟，在海量數據的高清視頻監控，目錄和文件數量十分可觀，這種檢索模式的效率就會大打折扣。海康流存儲系統采用獨特的“設備號->對應數據卷->偏移“檢索方式，最大限度精簡檢索深度，提高檢索效率。

精確定位、高效回放

基于底層流存儲數據結構和快速數據定位技術，可以實現任意時間段(時間段可以無限小或無限接近當前時間)的即時回放和任意時間點/時間段的快速精確檢索定位。檢索到的單路視頻錄像可以切割為多段并行回放，大大提高回放效率。

穩定可靠的數據保存技術

數據塊空間預分配技術

監控應用中幾乎全部是循環覆蓋讀寫應用，必定產生文件碎片，將對存儲系統產生很大影響。

該方案存儲基于流媒體數據結構，通過數據空間預分配空間策略，在循環覆蓋應用環境中幾乎完全消除文件碎片，使系統具備良好的性能和穩定性。

原理：把數據塊劃分為大的虛擬數據塊vblock(至少是16MB)，并且按錄像周期再把虛擬數據塊劃分為不同區域，保證每個數據區域的覆蓋周期是一致的，盡大可能的避免出現碎片，同時提高性能和穩定性。

N+n+m冗余

提供N+n+m的備機工作模式：N臺在線存儲設備，n臺熱備(休眠)存儲設備，m臺冷備(關機狀態)存儲設備。當在線存儲系統出現故障后，熱備機立即接替服務，故障恢復時，服務和數據回遷;如果故障機數據需要調用，可以把故障機的磁盤插入到冷備機中，實現所有數據的立即可用。

靈活快速的空間擴展技術

對于高清監控系統，隨著監控前端的增加和存儲時間的延長，擴展能力十分重要。某些廠商已提供單純針對容量的擴展柜擴展模式和性能容量同步線性擴展的堆疊擴展模式。