基于IBA的SRP Target的研究與實現
(1)SRP Target的端口檢測RDMA通道中有SRP請求信息,確認為接收完成操作失敗,未接收到SRP請求信息,立即進行操作失敗下的處理方式。
(2)釋放RDMA緩沖區相關資源,重新初始化相關屬性信息。
2.5 卸載SRPTarget
當進行卸載SRP Target時,主要進行釋放SRP Target模塊和SCSI模塊所占有資源。具體的步驟如下:
(1)注銷SCSI Target模塊中的I/O控制器,清除該控制器的設備ID號,將該控制器從全局上下文中移除。
(2)清I/O控制器所控制的SCSI命令,釋放SCSI命令所占有的內存緩沖區等資源。釋放所占有的內存緩沖區。
(3)釋放SRP Target模塊中I/O控制器所占有的資源,停止對IB端口服務人口的監聽操作,釋放服務入口所占有的內存空間資源,并對IB端口進行更新操作,恢復端口的初始設置。
(4)對所有RDMA通道進行斷開操作.釋放RDMA通道所占有的資源。
(5)釋放IB I/O控制器所占有的空間。本文引用地址:http://www.104case.com/article/202676.htm
3 實驗結果與分析
3.1 實驗環境
(1)硬件配置:
神威SWIBS24型IBA交換機。
IBM System x3650服務器3臺(Initiator01,Initiator02,Initiator03)各配有一塊HCA卡,作為SRP Initiator。存儲服務器一臺配置一塊HCA卡。作為SRP Target。
(2)軟件配置:
四臺linux AS4 Updata4服務器.內核版本為2.6.9-42。Initiator01、Initiator02、Initiator03安裝IBA驅動程序IBGD(InfiniBand Gold Distribution)的sRP Initiator,作為Initiator服務器;Target安裝IBA驅動程序OFED(OpenFabrics En-terprise Distribution)的SRP Target,作為Target服務器。本課題依據GPFS支持的直接連接、網絡連接兩個模式,分別對讀寫性能進行比較。
直接連接:使用SRP協議.只要求在Initiator01、02、03服務器上安裝GPFS,Target上不安裝GPFS,Initiator服務器由1B網絡通過SRP Target獲得RAID存儲設備信息,即可對其進行直接掛載、讀寫操作。
網絡連接:不使用SRP協議.使用IPoIB協議。要求在每個服務器上都安裝GPFS,Initiator服務器不能通過SRP協議獲取Target服務器上RAID存儲設備的信,g。Initiator只能通過IPoIB與Target聯系,通過Target服務器上的GPFS文件系統對存儲設備進行共享訪問。
3.2 實驗結果
下表為實驗結果,IPoIB為GPFS的網絡連接模式,IB-SRP為GPFS的直接連接模式:
(1)Initiator01、02、03同時對Target的RAID設備進行讀寫操作(如表1)。設置測試的空間大小為10 G,一次讀寫操作的塊大小分別為64 k,128 k,256 k,速度以K/s為單位。
(2)Initiator01對Target的RAID設備單獨進行讀寫測試(如表2)。
3.3 結果分析
實驗結果表明,在IBA網絡中使用SRP協議的Initiator和Target模塊進行數據傳輸的速度比單純使用IBA網絡進行數據傳輸的速度高出很多。
使用SRP協議進行數據傳輸時,Initiator服務器向Tar―get服務器的RAID設備傳輸數據,是直接與Target內存進行數據傳輸,然后由Target的內存將數據傳遞給RAID設備。在此時,Target系統并不執行數據的拷貝動作,不經過內核的調用,減少了處理網絡通信時在內核空間和用戶空間上下文切換的次數,消除了在應用內存與內核內存之間復制數據的需要,減少了CPU的負載。繞過內核可使應用程序不必執行內核調用就可以直接發出命令。減少了延遲時間,能騰出總線空間和CPU周期用于改進應用系統性能。然而只利用IBA網絡進行數據傳輸時。Target系統要進行數據的拷貝.內核的調用,增大了CPU的負載.性能相對下降。所以基于SRP的讀寫速度性能會更高。
4 結束語
本文介紹了實現SRP Target的過程.對各個獨立功能部分的工作原理、工作機制以及工作流程進行了分析。并給出了IBA存儲網絡分別使用IPOIB協議和SRP協議讀寫性能的測試結果,對于設計實現基于IBA的存儲網絡有著重要的參考價值。
評論