融合NAS和SAN的存儲網絡設計

測試環境
iSCSI 存儲設備:P42.0GHz CPU ,256MB DRAM, IBM DPSS318350 18G硬盤,Redhat Linux 9.0 操作系統;LINUX 服務器:Pentium 42.66GHz ( FC2PGA) CPU ,256MB DRAM, 80GB UltraATA/ 1007 ,200rpm硬盤,Redhat Linux 9.0 操作系統;WINDOWS服務器端:XEON 3.06GHz CPU ,512M DRAM 內存,Smart Array6i (板載) 存儲控制器,Qlogic QLA2300 PCI FC Adapter 光纖適配器,IBM 36。4GB (32P0726) 10Krpm 硬盤,Microsoft Windows2003操作系統;FC-RAID:NexStor 4000S ,CPU 600MHZ,512M SDRAM,10 ×ST314680FC 硬盤;普通NAS 存儲設備: P42.66GHz CPU ,512MB DDR ,Maxtor 160G硬盤,Redhat Linux 9.0 操作系統。

網絡連接:iSCSI 設備和普通NAS 設備都使用100M以太網卡Realtek RTL8139 ;Windows 服務器使用1000M 以太網卡HP NC7782 Gigabit Server Adapter ;Linux服務器使用1000M以太網卡。HPNC7782Gigabit Server Adapter。

功能測試
根據測試流程,功能測試包括三個方面的內容: (2) 平臺的統一,即在Windows 下能通過單一目錄樹方式訪問多個存儲節點,功能與Linux 下的pvfs 相似; (2) 協議的統一,即通過Windows 的“計算機管理”和Initiator 發起端(iSCSI 客戶端) 可以管理FC-RAID 和iSCSI Target 及普通的NAS 設備,并利用“動態磁盤機制”實現多種冗余;設備的統一,即iSCSI Target 通過和initiator 配合,使得該Target 成為NAS 系統中的一個存儲設備。

性能測試
　

測試內容

采用第三方的IOMETER 測試軟件進行的測試。IOMETER是INTEL 公司專門開發的用于測試系統I/O 性能的測試程序。 它的測試參數比較全面,能非常全面的反映服務器的I/ O性能。為了說明USN 存儲系統的性能,在相同條件下測試以下項目進行對比分析: (1) 對USN 服務器本地硬盤讀寫性能測試; (2) 100M以太網環境下FC-RAID 盤讀寫性能測試; (3)100M以太網環境下遠程iSCSI 盤讀寫性能測試; (4) 100M 以太網環境下FC-RAID 盤和遠程iSCSI 盤構建的各級RAID 盤的讀寫性能測試; (5) 1000M以太網環境下遠程iSCSI 盤讀寫性能測試; (6) 100M以太網環境下USN 系統的讀寫性能測試。

實驗結果比較

本地IDE 硬盤、100M iSCSI 硬盤、1000M iSCSI 硬盤、FC-RAID、FC-RAID 與iSCSI 構成的RAID0 及USN 系統數據傳輸率性能比較如圖7 所示。

本地IDE 硬盤、100M iSCSI 硬盤、1000M iSCSI 硬盤、FC-RAID 及FC-RAID 與iSCSI 構成的RAID0 ,以及USN 的IO/ s 性能比較如圖8 所示。

本地IDE 硬盤、100M iSCSI 硬盤、1000M iSCSI 硬盤、FC-RAID及FC-RAID 與iSCSI 構成的RAID0 ,以及USN 的平均響應時間性能比較如圖9 所示。

本地IDE 硬盤、100M iSCSI 硬盤、1000M iSCSI 硬盤、FC-RAID 及FC-RAID 與iSCSI 構成的RAID0 ,以及USN 的CPU 占用率比較如圖10 所示。

　實驗結果分析

　 請求文件或數據塊大小對存儲系統性能的影響從圖7、圖8 和圖9 中單條曲線的走勢可以看出,當請求文件或數據塊較大時,從目的盤或系統上讀寫數據耗費的時間長,通過網絡傳輸的時間也相應增加,所以:小包的平均響應時間 大包的平均響應時間,小包的IOps > 大包的IOps。請求包大時,針對一個請求包所進行的額外操作較請求包小時少,連續的讀寫所耗費的時間小于小包讀寫所耗費的時間,因此:小包的MBps 大包的MBps。

服務器端iSCSI 盤的各項性能表現趨勢在100M以太網和千兆以太網環境中不同請求包大小的情況下符合上述規律,本地IDE 硬盤、FC-RAID 和USN 系統也符合上述述規律。

　性能分析

從圖7、圖8 和圖9 可以看出, I/O 請求在1k～128kB 時,USN系統的I/O 請求響應速度比本地IDE 硬盤、FC-RAID、100M遠程iSCSI 硬盤和1000M iSCSI 硬盤快的多。 當I/O 請求大于128kB 時,USN 系統的I/O 請求響應速度比FC-RAID 的 I/ O 請求響應速度略慢,比其它存儲子系統的速度快的多,最高速度可達45MB/ s。 其原因是我們在USN 的服務器端除加載了GMPFS(支持使用多種訪問協議用戶) 和ASA(提供服務器通道和附網高速通道) 的同時,還加載了我們實驗室以前開發的智能預取、硬盤緩存技術(DCD) 、負載均衡和零拷貝系統或軟件模塊,所以,不論是大I/O 請求還小I/O 請求,都能提供極好的I/O 請求響應性能。 而FC-RAID 由于自身的數據校驗等時延等特性,對小的I/O 請求響應速度較慢,對越大的I/O請求響應速度越快。

對于USN 的iSCSI 盤存儲子系統,從實驗結果可以看出,當請求數據塊較小時,100M網絡環境下的性能和1000M網絡環境下的性能差別不明顯,隨著請求塊或文件逐步增大,兩者IOps 和MBps 的差距越來越大。請求數據塊為1024K時,僅更換網絡傳輸中的數據鏈路層和物理層,從100M 網絡環境提升到1000M網絡環境,磁盤數據傳輸率得到較大的提高,后者約是前者的3 倍。

從圖10 可以看出,100M的iSCSI 存儲子系統的CPU 占用率最高,原因是在響應用戶的I/O 請求,要求服務器不斷的對iSCSI 的協議數據單元進行封裝和解封裝。 本地的IED 硬盤CPU 占用率最低,USN 系統的服務器端CPU 占用率次之,原因是USN 系統中小的I/O 請求直接經過服務器處理,而大的I/O 請求經過附網高速通道由存儲設備自身處理。

結論和展望
　　

我們提出、設計和實現的統一存儲網絡系統,全部采用IP互聯設備,價格比光纖通道低得多,在管理軟件的開發實現上以及系統的使用維護上,都具有多得多的資源和經驗。 并且,千兆以太網技術比光纖通道技術發展迅速,10Gbps 以太網交換機已經推出并在市場上熱銷,其性能前景也比光纖通道交換機好得多。 所有這些為統一存儲網絡的產品化打下了堅實的基礎。

目前,我們已經從理論、結構和實踐上實現了統一存儲網絡原型系統,現在,我們正在開發和完善多用戶、多功能、多種平臺支持的iSCSI 設備,設計和實現新的安全和高可用文件系統,以便為統一存儲網絡系統產品化后能真正為廣大企業,尤其是為廣大中小企業提供開放性、性能、可展性、性/ 價比都更好的海量存儲系統。