數據倉庫概述與在通信運維系統中的應用

標簽：數據倉庫 數據庫

通信運營維護的發展，一直與信息技術的發展水平密不可分。從最早期的計算機數據處理，到今天廣為使用的計算機數據分析。每一次信息技術的發展都會帶來通信運營維護的變化。在其中，數據庫技術尤為重要。

數據庫系統直接和運營維護系統的核心——運營數據相關，負責數據的收集、存儲、更新和運算。隨著現代商用數據庫技術的發展，作為數據庫技術分支的數據倉庫技術為當前的運營維護系統進行進一步的數據分析和應用提供了重要的技術基礎。如何使用數據倉庫，合理利用數據倉庫提供的能力為運營系統服務，往往成為運營維護系統的重要問題。

在這樣的背景下，本系列結合通信運營維護的客觀需要，以重要的商用數據庫——DB2為例，主要闡述了當前重要的數據倉庫技術，以及如何在通信運營維護系統中去使用這些現代數據庫技術去支持運維工作。

一、數據庫和數據倉庫

數據庫已經在信息技術領域有了廣泛的應用，我們社會生活的各個部門，幾乎都有各種各樣的數據庫保存著與我們的生活息息相關的各種數據。作為數據庫的一個分支，數據倉庫概念的提出，相對于數據庫從時間上就近得多。美國著名信息工程專家 William Inmon 博士在90年代初提出了數據倉庫概念的一個表述，認為：“一個數據倉庫通常是一個面向主題的、集成的、隨時間變化的、但信息本身相對穩定的數據集合，它用于對管理決策過程的支持。”

這里的主題，是指用戶使用數據倉庫進行決策時所關心的重點方面，如：收入、客戶、銷售渠道等;所謂面向主題，是指數據倉庫內的信息是按主題進行組織的，而不是像業務支撐系統那樣是按照業務功能進行組織的。

集成，是指數據倉庫中的信息不是從各個業務系統中簡單抽取出來的，而是經過一系列加工、整理和匯總的過程，因此數據倉庫中的信息是關于整個企業的一致的全局信息。

隨時間變化，是指數據倉庫內的信息并不只是反映企業當前的狀態，而是記錄了從過去某一時點到當前各個階段的信息。通過這些信息，可以對企業的發展歷程和未來趨勢做出定量分析和預測。

二、數據倉庫的應用

單純從定義出發，可能會把數據倉庫簡單地理解為僅僅是一個大型的數據存儲機制，是一個靜態的概念。實際上，數據倉庫更像一個過程，這個過程涉及數據的收集、整理和加工，生成決策所需要的信息，并且最終把這些信息提供給需要這些信息的使用者，供他們做出改善業務經營的正確決策。數據倉庫的重點與要求就是能夠準確、安全、可靠地從業務系統中取出數據，經過加工轉換成有規律信息之后，供管理人員進行分析使用。因此，數據倉庫是一個動態的過程，它的基礎，就是現代的數據庫技術。

單講概念，有些晦澀。任何技術都是為應用服務的，結合應用可以很容易地理解。以通信運維系統為例，數據庫是事務系統的數據平臺，客戶打的每一個電話，都會寫入數據庫，被記錄下來，這里，可以簡單地理解為用數據庫記帳。數據倉庫是分析系統的數據平臺，它從事務系統獲取數據，并做匯總、加工，為決策者提供決策的依據。比如，某地區某類用戶一個月打了多少個電話，都是多長時間的，發了多少短信，該用戶當前話費余額是多少。如果通話時間很長，而短信很少，那么該用戶就是一個偏語音通話的客戶了。

顯然，電話和短信的業務量是巨大的，通常以百萬甚至千萬來計算。事務系統是實時的，這就要求時效性，客戶打一個電話要等十幾秒肯定是無法忍受的，這就要求數據庫只能存儲很短一段時間的數據。而分析系統是事后的，它要提供關注時間段內所有的有效數據。這些數據是海量的，匯總計算起來也要慢一些，但是，只要能夠提供有效的分析數據就達到目的了。

從上面的例子可以看出，數據庫是為捕獲數據而設計，數據倉庫是為分析數據而設計，它的兩個基本的元素是維表和事實表。維是看問題的角度，比如通話時間(什么時候打的電話)，業務類型(語音通話，短信息，數據通信)維表放的就是這些東西的定義，事實表里放著要查詢的數據。

三、數據倉庫的特點

數據倉庫，是在數據庫已經大量存在的情況下，為了進一步挖掘數據資源、為了決策需要而產生的，它并不是所謂的“大型數據庫”。數據倉庫的方案建設的目的，是為前端查詢和分析作為基礎，由于有較大的冗余，所以需要的存儲也較大。為了更好地為前端應用服務，數據倉庫往往有如下幾點特點：

1. 效率足夠高。數據倉庫的分析數據一般分為日、周、月、季、年等，可以看出，日為周期的數據要求的效率最高，要求24小時甚至12小時內，客戶能看到昨天的數據分析。由于有的企業每日的數據量很大，設計不好的數據倉庫經常會出問題，延遲1-3日才能給出數據，顯然不行的。

2. 數據質量。數據倉庫所提供的各種信息，肯定要準確的數據，但由于數據倉庫流程通常分為多個步驟，包括數據清洗，裝載，查詢，展現等等，復雜的架構會更多層次，那么由于數據源有臟數據或者代碼不嚴謹，都可以導致數據失真，客戶看到錯誤的信息就可能導致分析出錯誤的決策，造成損失，而不是效益。

3. 擴展性。之所以有的大型數據倉庫系統架構設計復雜，是因為考慮到了未來3-5年的擴展性，這樣的話，未來不用太快花錢去重建數據倉庫系統，就能很穩定運行。主要體現在數據建模的合理性，數據倉庫方案中多出一些中間層，使海量數據流有足夠的緩沖，不至于數據量大很多，就運行不起來了。

從上面的介紹中可以看出，數據倉庫技術可以將企業多年積累的數據喚醒，不僅為企業管理好這些海量數據，而且挖掘數據潛在的價值，從而成為通信企業運營維護系統的亮點之一。正因為如此，

廣義的說，基于數據倉庫的決策支持系統由三個部件組成：數據倉庫技術，聯機分析處理技術和數據挖掘技術，其中數據倉庫技術是系統的核心，在這個系列后面的文章里，將圍繞數據倉庫技術，介紹現代數據倉庫的主要技術和數據處理的主要步驟，討論在通信運營維護系統中如何使用這些技術為運營維護帶來幫助。