基于云計算技術(shù)的日志管理系統(tǒng)

摘要

計算機(jī)技術(shù)經(jīng)歷了并行計算、集群/分布式計算、網(wǎng)格計算等發(fā)展，現(xiàn)在已步入云計算時代。20世紀(jì)80年代，升陽（Sun Microsystems）提出了“網(wǎng)絡(luò)式電腦”NC概念，21世紀(jì)初，Amazon通過打包、自助服務(wù)等業(yè)務(wù)出租其IT設(shè)備，并取得了空前的成功。隨著云計算案例的成功，其影響力也正在逐步展開。本文闡述了從興技術(shù)云計算在電信級系統(tǒng)海量日志管理的設(shè)計方案，望拋磚引玉。

正文

隨著通信技術(shù)的不斷發(fā)展，用戶對新業(yè)務(wù)的需求以及對服務(wù)質(zhì)量的要求也不斷提升。通訊運(yùn)營商需要適應(yīng)新形式的要求，必須做出相應(yīng)的調(diào)整。如以前的離線計費升級為在線實時計費；又或者升級新的通訊設(shè)備，等等。由此帶來了一項新的挑戰(zhàn)，即新環(huán)境產(chǎn)生大量的以前不曾有過的日志，并帶來相關(guān)的問題，如：日志文件分散存放，數(shù)量多，可直接查閱日志文件保存周期短，極不便于運(yùn)維；日志格式不一致，可閱讀性過低；查詢費時或超時，效率低下；相關(guān)日志的關(guān)聯(lián)性低，無法清晰定位；大量的日志無法統(tǒng)計，無法準(zhǔn)確的分析業(yè)務(wù)；

由于相關(guān)法規(guī)、政策或商業(yè)上的要求，運(yùn)營商無法回避以上問題，必須保留、查詢、分析處理這些大數(shù)據(jù)。基于關(guān)系型的傳統(tǒng)數(shù)據(jù)庫無法滿足新形式下的要求，從興技術(shù)憑借自身在通訊行業(yè)的經(jīng)驗與優(yōu)勢，依托云計算技術(shù)，建設(shè)了一個高效的通用云計算平臺，將日志管理系統(tǒng)作為云平臺的一個業(yè)務(wù)系統(tǒng)建設(shè)。這樣設(shè)計的最大優(yōu)勢是業(yè)務(wù)系統(tǒng)作為上層應(yīng)用，具備良好的擴(kuò)展性和可堆疊性，滿足信息的交換和處理，避免信息系統(tǒng)煙囪式的發(fā)展。

從興SKCP（Smart Keen Cloud Platform）基于HDFS、M/R和Cassandra為核心的SK-Hadoop功能和SK-Store功能；以Flume為基礎(chǔ)的SK-Pipe系統(tǒng)具備了高效的實時采集功能；配合SK-DETL分布式的ETL的任務(wù)設(shè)計、調(diào)度等功能，可實現(xiàn)日志數(shù)據(jù)的高效ETL.強(qiáng)大的企業(yè)管理器（SK-Admin）能對平臺、節(jié)點、任務(wù)進(jìn)行監(jiān)控和管理等。

基于SKCP的日志管理系統(tǒng)的主要功能架構(gòu)如下：

采集子系統(tǒng)提供了批量采集和實時采集功能。批量采集將系統(tǒng)各模塊日志文件按目錄采集到相應(yīng)的目錄中，以便入庫。實時采集將系統(tǒng)模塊正在產(chǎn)生日志文件實時傳輸?shù)饺罩驹破脚_。日志采集支持對采集文件進(jìn)行壓縮，減輕網(wǎng)絡(luò)傳輸壓力。支持對海量的小批量采集文件進(jìn)行合并處理，以提高入庫效率

日志云平臺提供了程序發(fā)布和運(yùn)行管理、系統(tǒng)資源監(jiān)控；并提供日志云平臺定時任務(wù)，如數(shù)據(jù)清理或數(shù)據(jù)遷移等。日志云平臺支持聯(lián)機(jī)在線下的新節(jié)點加入或退出。

日志分析模塊采用XML文件配置方式，支持文件名稱的匹配和字段解析匹配，具備靈活的自定義功能。

日志入庫模塊提供基礎(chǔ)調(diào)度功能，按照業(yè)務(wù)的要求將數(shù)據(jù)加載到云平臺中，支持霍夫曼壓縮算法，支持多節(jié)點的分布式入庫。

頁面查詢展示根據(jù)請求查詢云平臺得到相應(yīng)的數(shù)據(jù)，并返回去前臺展現(xiàn)。支持均衡負(fù)載，減少單個節(jié)點上的負(fù)擔(dān)。

系統(tǒng)部署邏輯圖：

系統(tǒng)完成部署并成功試商用。系統(tǒng)負(fù)載量為：業(yè)務(wù)系統(tǒng)每天日志總量約為2.8 T，按1：6的壓縮比來計算，壓縮后每天的日志量約500G左右；單節(jié)點入庫速度平均10M+每秒；平均壓縮比為2.5：1，數(shù)據(jù)冗余系數(shù)2；數(shù)據(jù)平均存儲周期1+1個月，目前設(shè)計存儲容量為40T，不使用磁盤陣列集中存儲。

從實際運(yùn)行情況考慮，基于從興技術(shù)云平臺的日志管理系統(tǒng)，采用成熟的技術(shù)，更低的成本、更高的業(yè)務(wù)效率，提供了完整的海量日志解決方案。