基于HDFS的云存儲在高校信息資源整合中的應用
HDFS中數據的交互無外乎數據的讀和寫,重點設計的對象就是客戶端、名稱節點和數據節點。客戶端首先從名稱節點中讀取對應的文件塊信息,再和數據節點建立連接并獲取數據,圖2具體描述了數據讀取過程。本文引用地址:http://www.104case.com/article/202391.htm
HDFS的數據寫入過程比讀取過程細節上更為復雜一些,但是模型圖非常類似。除了數據的讀寫,維護數據的可用性和一致性也是系統最基本的要求和重要的功能。一般來說,系統通過數據復制、節點故障、數據校驗、垃圾回收機制來維護數據的可用性和一致性。
3 HDFS的云存儲應用于整合高校信息資源
3.1 系統分析與設計
目前高校信息資源面臨著空前的海量數據管理難題,存儲數據的成本在不斷增加,而且信息的安全性也亟待提高。因此要借用云存儲這種新的工作模式來解決這個問題。根據高校的特殊情況,結合云存儲的優點,要設計一個成功的云存儲案例,需要考慮這么幾個方面:
1)低成本海量存儲 將數據存儲在一般的個人電腦構成的網絡中,并進行合理調配,構成一個有機海量存儲設備。
2)高效率的訪問 數據盡可能的存儲在不同的數據節點中,當客戶端對信息進行請求時,能高效的回復,并做到并發。
3)安全性高 每個文件都會有多個副本分別存儲在多個數據節點上。如果某個數據節點出現問題,不會發生文件丟失的現象。
3.2 系統功能設計
高校相對于云存儲系統是一個用戶,而高校內部有多個部門,相對于云存儲系統的用戶高校來說是一個子用戶。云存儲系統能夠創建、管理、維護高校云存儲用戶;高校云用戶能夠創建、管理、維護各部門子用戶。而子用戶才是真正的終端信息存儲用戶,他們上傳、下載、刪除數據信息。由于我們的這個系統是基于HDFS的,而一個基本的HDFS由一個NameNode和n個DataNode組成,云存儲系統是由多個地方的HDFS存儲設備通過應用軟件集合起來協同工作,完成外部訪問請求。可以將本文描述的分布式文件系統(DFS)抽象成一個三級模型,如圖3所示。
根據系統結構圖可以清楚看到本文描述的分布式文件系統(DFS)的業務邏輯模型:終端網絡發出信息存取訪問請求,DFS通過封裝與HDFS通信協議的Client客戶端與基于HDFS的云存儲系統進行通信,完成對信息的訪問。HDFS存儲業務以云狀分布在網絡的各個部分,它具有容量大、性能高、可靠性好、協同優良的特點,正是這些特點,完成了高校信息資源高效訪問與存儲。
4 結論
基于HDFS的云存儲是一種動態可調整、基于互聯網的存儲解決方案,用戶可以通過通用和易用協議和應用程序接口通過網絡訪問存儲目標,這種新技術對最終用戶來說很有好處。云存儲可以讓用戶很容易增加存儲容量,而且不需要購買、安裝和管理任何存儲基礎設施,卻提供了一個完善的備份、容災數據中心。云存儲的成本和易用性優勢對高校具有很強的吸引力,發展和應用前景廣闊。
評論