安防行業云存儲技術的發展與應用

　　隨著視頻監控系統規模不斷擴大，以及高清視頻的大規模應用，對視頻監控系統中需要存儲的數據和應用的復雜程度在不斷提高，且視頻數據需要長時間持續地保存到存儲系統中，并要求隨時可以調用，對存儲系統的可靠性和性能等方面都提出了新的要求。在未來的復雜系統中，數據將呈現爆炸性的海量增長，提供對海量數據的快速存儲及檢索技術，顯得尤為重要，存儲系統正在成為視頻監控技術未來發展的決定性因素。

　　面對百PB級的海量存儲需求，傳統的SAN或NAS在容量和性能的擴展上會存在瓶頸。而云存儲可以突破這些性能瓶頸，實現性能與容量的線性擴展，這對于追求高性能、高可用性的企業用戶來說是一個新選擇。

　　云存儲是近年來在存儲領域興起的一種新技術，云存儲顧名思義是將復雜的存儲功能實現封閉在云端，通過一種簡單的方式為用戶提供優質的存儲服務。具體過程是云存儲通過軟件將系統內大量不同類型的存儲設備管理起來，運用虛擬化技術、集群化技術、離散存儲技術、分布式數據庫等對系統內的設備資源、存儲容量資源進行專業化整合為用戶提供大容量、高性能的透明存儲服務。

　　二、云存儲系統的設計原則

　　云存儲系統的設計原則應該采用業務控制和業務數據分離的設計思路。在存儲模式上新增加元數據管理節點專伺于系統的資源管理、任務調度和運行維護，元數據管理節點不具體執行寫入、讀取等業務操作，而將這部分功能交給存儲服務節點負責。云存儲的整體設計形成一種松耦合非對稱系統架構，在實際的運行過程當中該架構能夠使系統提供靈活多變的業務擴展屬性和持續穩定的性能增長。在硬件設備規模和存儲容量不斷擴大的情況下系統性能能夠與存儲容量保持線性增長，這種屬性也為云存儲基礎上的云服務擴展奠定了基礎。

　　采用松耦合非對稱系統架構的云存儲系統在具體軟件設計的層次上可以如圖劃分為以下五個層次：

　　 設備層

　　設備層是云存儲最基礎、最底層的部分。在系統組成中，存儲設備可以是標準SAN架構下的FC光纖通道存儲設備或iSCSI協議下的IP存儲設備，這些存儲設備構成云存儲的存儲資源基礎。

　　 存儲層

　　存儲層含有云存儲流式文件系統和虛擬化資源系統。通過云存儲流式文件系統和虛擬化資源系統，實現存儲傳輸協議和標準存儲設備之間的數據邏輯結構或磁盤陣列的映射。存儲層另一類重要功能就是具體實現數據(視頻、圖片、附屬流)和設備層存儲設備之間的通信連接，完成數據的高效寫入、讀取和調用等服務。

　　 管理層

　　在管理層融合了多種核心的管理功能。負責實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理、錄像計劃的主動下發，以及硬件設備的狀態監控和故障維護等;存儲業務響應，以及存儲資源調配也由管理層負責。

　　 接口層

　　應用接口層是云存儲最靈活多變的部分，接口層面向用戶應用提供完善以及統一的訪問接口，接口類型可以是Web Service接口、API接口、Mibs接口，可以根據實際業務類型，開發不同的應用服務接口，提供不同的應用服務。實現與外部系統之間的對接。

　　 應用層

　　從邏輯上劃分，除了應用層外，剩下的四層都屬于通常云存儲的范疇，但是在視頻云存儲系統中，為了與視頻監控系統的建設和應用更加緊密的結合，更加符合用戶的業務需求，將應用層納入了整個系統架構中，從根本上提高視頻云存儲系統的針對性。

　　三、云存儲系統的核心技術

　　安防產業的蓬勃發展離不開對海量視頻和圖片數據的深入挖掘和分析。早期的存儲僅僅是將數據進行存儲，經過這些年的發展，已經注重從數據中獲取真實需要的關鍵信息，并已成為具體的業務提供支撐。云存儲不但在滿足海量數據存儲需求上契合了安防行業的發展趨勢，同時在應用性和專業化程度上也逐漸發展和深化。那么，帶有行業屬性的云存儲系統的出現就是一個必然的過程。

　　安防行業與互聯網行業應用有著明顯的差別。在互聯網應用中有著數以億計的用戶，這些用戶分布在世界各地而且應用需求也千差萬別。互聯網用戶產生的數據總量雖然非常龐大，但是數據信息類型卻也非常復雜，單個數據文件大小相對較小。

　　安防監控領域的視頻數據則具有非常明顯的特征，其數據流依照時間順序持續產生，并且數據量非常龐大。隨著高清和超高清攝像機的不斷加入，數據量的爆炸性增長可想而知。這類長時間、大流量的數據在進行存儲時對傳統的文件系統產生了非常大的壓力，傳統的文件系統在數據的存儲上很少考慮到數據連續性問題，在磁盤空間的利用率上也盡可能地將數據的存儲粒度降低以滿足P2P式的文件下載訪問需求。而這這種方式對視頻流數據則極為不利，系統在從存儲中提取數據后需要耗費大量資源對數據按照時間順序進行重組，而且為了提取某段長時間的視頻數據磁盤尋址延時和等待延時會幾何級數地增長，照成視頻數據提取和分析時間過長，阻礙了安防監控應用的發展。

　　作為安防監控領域的云存儲系統，如果不改變這種結構化數據的存儲思路，那么將是無法支撐云計算以及大數據智能分析發展需要的。作為安防監控領域的云存儲首先面臨的就是對文件系統的改造，針對視頻數據的特點，在數據持續寫入時需要強關聯其時間屬性，同時優化磁盤的存儲空間，合理安排數據的存儲資源分配。在對文件系統進行全面優化后形成一套適合視頻數據存儲和讀取的具有流式數據特點的云存儲文件系統，也稱為流式文件系統。

　　此外虛擬化技術的應用也是衡量一套存儲系統是否成為真正意義上的云存儲的一個重要標志。虛擬化技術分為兩個方面來探討，最基礎的技術要求是對云存儲系統內所有存儲資源的整合。傳統的NVR或者CVR堆疊模式雖然在發展的過程中有許多廠家也注意到了對資源的統一管理工作，但是其管理的粒度仍然是以單個存儲設備作為基礎的，這種程度的整合會導致系統的控制粒度過大、存儲資源利用率偏低。而真正意義上的虛擬化整合則需要更加的細化，云存儲在管理存儲資源時需要能控制到存儲設備上的最基礎存儲單元，因此通過對最基礎存儲單元的整合作為虛擬化的一個重要指標。對元數據管理服務器來說只有看得清楚、管得細致，了才能做到對存儲資源的合理利用和優化整合。

　　虛擬化的另一個重要特征就是具體實現完全透明。在虛擬化技術對存儲資源進行整合之后對于上層系統而言應該呈現出一個完整的、唯一的存儲資源池。存儲資源池具有統一化、靈活性、可再分割、再調整的功能屬性，而且這部分功能屬性的具體實現是完全屏蔽在虛擬化系統內部的，不需要再有其他系統或者操作者進行干預。使用者所見到的僅僅是一個超大的存儲資源池，他可以根據具體業務存儲的需要從存儲資源池中取出一部分空間用于某些視頻數據的存儲。使用者無需關心視頻數據究竟是存放在云存儲系統中的哪臺存儲主機的哪個磁盤上，具體的存儲空間分配由虛擬化系統執行完成。同時使用者也不必擔心數據的安全性問題，因為當用戶改變存儲策略、調整空間大小時虛擬化技術會自行對數據進行備份、遷移、覆蓋。所有這些具體的執行對使用者都是透明的，使用者的精力可以完全集中在對自身業務的管理上來。

　　集群化技術是除了虛擬化技術以外衡量云存儲系統成熟度的另一個重要標志。在討論云存儲系統架構的時候我們探討了系統采用松耦合非對稱架構的必要性，在系統中衍生出元數據管理節點的同時，我們對其可靠性、穩定性、以及性能的要求隨著云存儲系統的不斷膨脹也越來越高。單一節點或者雙機HA模式在中小型的安防監控項目中還可以勉強勝任，一旦系統規模擴大其元數據管理節點的壓力就會不斷加強，其性能瓶頸直接會導致云存儲系統可用度降低，甚至影響云存儲系統的正常運行。集群化技術在云存儲系統中的應用將能夠很好的解決這些問題。元數據管理集群改變過去單兵作戰的方式，采用成建制的集團軍協同作戰將各個元數據管理節點的系統性能形成合力共同為云存儲服務。創建元數據管理集群需要專門開發用于集群組件的軟件，集群軟件的作用就是維持各個節點間的通信順暢，并按照負責均衡的原則將大量待處理業務信息分派給具體的元數據管理節點來執行。多臺元數據管理節點通過集群軟件保持高度的統一性和可協調性，管理信息和監控信息數據在各個節點間的分布式數據庫間同步，所有節點都具有獨立完成業務處理工作的能力并保持集群的ALL ACTIVE的狀態。這樣云存儲系統的處理性能將不再受單一節點限制，當云存儲需要擴容和提升系統性能時可以繼續增加集群的元數據管理節點數目，以保持業務性能的線性增長。

　　集群化技術的另一個優勢就是提供了更高的可靠性。傳統HA熱備的雙機模式為了提高可靠性實際是以一臺服務器的資源浪費作為代價的，備機不參與任何業務處理，僅是等待主機故障后替換而已。而集群模式的優勢在于集群中所有節點都是可以參與業務處理工作的，其中的一臺或者幾臺服務器節點出現故障，集群軟件可以很快發現問題并協調集群中的其它仍然運行良好的服務器節點接替故障機的工作，集群軟件而言這只不過是簡單地進行一次業務負載均衡調整和業務分配而已。

　　集群化的這些優點除了在元數據管理節點群化外，對于數量龐大的存儲節點依然適用。因為在云存儲系統中資源的調度，業務的分派都是由元數據管理集群完成，存儲節點僅需要保證存儲業務的具體執行。通過對數據存儲業務執行的合理分配，完全可以做到將過去各自為政的存儲節點資源統一進行調配，發揮其最大的效率。同時倘若部分存儲節點出現故障，元數據管理集群也能自動將數據存儲業務調整到其他運行正常的存儲節點上以滿足高要求的N(元數據管理節點)+M(存儲節點)集群可靠性。

　　云存儲的發展不僅僅需要考慮自身存儲業務的需要，更重要的是需要考慮云計算、智能分析對大數據提取的性能需求。因此云存儲系統的數據吞吐量就顯得尤為重要，傳統存儲方案中某路視頻流存儲時基本是以存儲設備為單位，那么在數據從單一的存儲設備上提取時就是一個串行的過程，當提取量增大整個過程耗時就會非常嚴重。云存儲系統就必須改變這一模式，現在較為先進的做法是存儲時盡可能將某路視頻數據到分散不同的存儲設備上，而當需要提取數據時多臺存儲設備并發推送數據以形成系統級的高并發吞吐量。數據的分散粒度越大，提取時的速度就可能越快，然而如果分散過于凌亂則對數據的管理又增加了額外的系統開銷。因而對分散的控制就顯得格外重要，海康威視云存儲系統的做法是在元數據管理集群中內嵌高效的數據存儲任務分派離散算法，通過算法對當前云存儲系統資源進行實時調度，做到最合理的分散存儲，既兼顧管理的高效性同時又保證了系統級的并發讀取速率，因此離散存儲無疑是一種最為合理的方式。

　　四、云存儲在安防行業創新和發展

　　近年來，安防行業不斷向著IT化、應用化、智能化的模式深入發展，全國大力興建城市級的安防監控和深化應用平臺。擁有自主知識產權的領軍企業，如海康威視已經取得了一定的成績，并積累了豐富的經驗。安防領域已經不僅僅停留在簡單的監控、存儲階段，云安防的理念迎合了目前對于安防信息內容的重視，而云計算、云存儲則是實現內容為王，智能分析的基礎。

　　技術的發展離不開行業的應用需求，云存儲在安防行業的創新也要緊貼著安防行業的特點來完成。云存儲技術的發展如果不緊貼安防行業的特點，不顧及視頻數據與文件數據的本質區別，簡單將用于文件存儲的云存儲系統移植到安防監控領域中將會嚴重影響到云安防的整體性能。安防行業最重要的數據形式就是視頻流數據，流式數據與文件數據有著很大的差別，那么對流式數據的存儲上就迫切需要一種適合視頻流高速存儲、查詢、讀取的技術。提高云存儲性能的方法很多，包括前文提高的虛擬化、集群化、離散存儲與并發提取外，流式文件系統的出現就是一種對云存儲行業化的典型創新和探索。

　　云計算是云安防的靈魂，而云存儲則是云計算最大的支撐。云存儲的發展也必須貼與云計算在安防監控領域的應用緊密配合。在云計算中除了談論云計算的架構、典型技術等等，其滿足應用需求時采用的不同策略也是非常值得關注的，例如云計算的前分析、實時分析、后分析等等。對于這些分析模式，云存儲提供的基礎數據起著非常重要的作用，最優化的一種方式就是云存儲對數據存儲的基礎數據單元與云計算處理時調用的基礎數據單元在格式、大小、標準上保持一致。這樣做優勢不言而喻，就是減少云計算的復雜度和對系統資源的消耗。

　　作為云存儲在安防監控行業應用的本身而言，針對例如視頻、圖片、附屬信息的一些基本功能將常用的應用內嵌在云存儲系統內部，這也是提高安防云應用效率的一個非常有效的方式。以海康威視為例，在云存儲系統內開發類如：視頻錄像、查詢、回放、鎖定、刪除、覆蓋等功能，將這些功能封裝在軟件模塊中以API接口的方式提供給上層調用平臺，如云計算系統或者行業應用平臺等。將帶有行業屬性的應用與簡單的存儲、查詢、讀取等基本功能結合，同時也可以深化視頻應用的開發，例如提供I幀回放等功能。這些深入的開發將云存儲系統在安防行業的優勢得到最大的體現，也是目前云存儲在安防行業創新和發展的必然趨勢。

　　在安防市場中對云存儲需求最為迫切，也最可能率先采用云存儲技術運用于自身系統的就是公安行業。隨著經濟建設和各項社會事業等快速發展，城市的公共安全面臨著更大的挑戰。全國跨地區、跨部門、跨警種的信息共享，建立城市報警與監控系統的協同使用機制、強化視頻監控技術在公安偵查破案中的支柱性作用，不斷提高系統的管、控、用整體水平，因此“大公安”的概念以被人們所接受。海康威視相關資料顯示，在“大公安”系統中，多以高清視頻采集為手段，集智能分析技術，綜合城市治安、治安卡口(高清)、社會監控資源，實現各類監控資源的共享，提高資源利用率。在這種建設目標下，云存儲的優點能夠非常有利地支撐起海量高清視頻存儲、以及大數據智能分析對數據處理需求和高并發、大吞吐的需要，云存儲作為整體行業解決方案的一部分將是其中不可或缺的一環。

　　隨著云存儲技術的不斷發展和完善，在云存儲為安防行業定制開發的思想指導下，云安防這一看似朦朧、飄渺的構想將逐漸豐滿、現實。想必在科技日新月異的今天，我們很快就能感受到云存儲給整個安防行業帶來的蓬勃生機。