網格中比較CPU計算能力的一種方法
引 言
本文引用地址:http://www.104case.com/article/171585.htm在網格計算中,常常需要使用多臺計算機協同工作完成一臺超級計算機才能完成的計算任務,為實現上述目標,首先應通過網格信息服務獲得網格中各臺主機CPU計算能力的指標,然后進行判斷選擇,決定由哪些主機參與計算。
當前,已有的網格信息服務模塊、網格監控模塊,如MDS2將系統平均負載作為反映CPU狀態的動態指標提供給用戶;另外,通過系統命令或系統調用也可以獲得 CPU使用率這個動態指標。系統平均負載是在特定時間間隔內運行隊列中的平均進程數,CPU使用率表示CPU使用程度的指標,能夠反映出CPU的工作狀態,但由于網格中CPU型號性能的差異,因此,無法用它們直接比較網格中CPU的計算能力。
為直接比較網格中主機 CPU的計算能力,獲得具有可比性的反映CPU計算能力的指標,我們采用計算量動態選擇算法,在各臺主機上周期性地瞬間執行計算量適中的Whestone 基準計算,通過PAPI接口編程對CPU所完成的浮點數計算進行精確計數,用得到的每秒百萬浮點數MFLOPS作為比較主機CPU計算能力的指標,定義為 WMFLOPS。得到WMFLOPS后,通過Globus提供的監控和發現服務(Monitoring and Discovery Service,MDS),將該指標作為資源信息進行發布,作為比較網格節點CPU計算能力的依據,為用戶選擇計算節點提供參考。我們編寫了程序 WfpSensor用于上述方法的實現。WfpSensor作為傳感器工作于網格中的各個節點,周期性地對CPU進行計算測試,獲得WMFLOPS的返回值,同時,WfpSensor也是MDS服務中的本地信息提供者,定時將最新的WMFLOPS值傳遞給MDS系統,供用戶查閱。
計算測試子程序
CPU 的計算能力主要體現在浮點數計算能力、定點數計算能力和矩陣計算能力等方面,其中某一類程序在CPU上運行的效果并不能全面地反映CPU的計算能力,所以許多國際基準組織開發了測試CPU計算能力的基準測試程序,在這類程序中進行的操作和運算可以相對全面客觀地考察CPU的計算能力。本文方法采用綜合型基準測試程序Whestone作為WfpSensor的計算測試子程序,Whestone程序中主要包括浮點運算、整數運算、涉及到數組下標索引、子程序調用、參數傳遞、條件轉移和三角/超越函數等,可以綜合考察CPU提供的計算能力。
返回指標WM FLOPS
WfpSensor 進程對CPU進行計算測試后,取出CPU在測試過程中的指標來反映CPU的計算能力。絕大多數網格計算都是科學計算,而浮點計算是科學計算程序中最主要的計算,所以選用每秒百萬浮點數MFLOPS作為反映CPU計算能力的指標。MFLOPS反映了CPU的浮點計算能力,并且MFLOPS是基于操作而非指令的,可以用它來比較兩種不同CPU的計算能力。由于是調用Whestone程序進行測試所得的結果,因此定義該指標為WMFLOPS。
指標精確計數
指標確定后,如何在WfpSensor中精確得到Whestone計算結束后的WMFLOPS值成為問題的關鍵。由美國田納西大學計算機學院創新計算實驗室開發的標準應用編程接口PAPI( portable application programming interface)能夠滿足上述要求。該軟件通過CPU上的硬件計數器,對CPU運行時產生的某些事件進行計數,并建立了一個標準應用編程接口方便用戶讀出計數器的值,通過這些值就可以了解當前CPU的工作狀態。由于CPU生產廠商及型號的不同,CPU硬件計數器所計數的硬件事件會有所不同,為標準化指標的名稱,使同一工具可以計數相似的可比較事件,促進跨平臺調試程序的能力,PAPI開發者選擇了一套和調試應用程序相關的硬件事件稱為預定義事件,作為反映CPU當前工作狀態的指標。這些指標是跨平臺的通用事件,包括了大部分主流RISC類事件,并且盡可能把這些預定義事件映射到給定CPU的硬件計數器事件中。在本文方法中,使用了PAPI_FP_INS這個PAPI預定義事件,它表示進程執行過程中完成的浮點數計算。PAPI提供了精確的計時器,精確到微秒,能夠準確地對進程的執行時間進行計時,如果經計數,PAPI_FP_INS事件總數為n,計算執行時間為t(單位:μs) ,那么WMFLOPS=n/t。
計算量動態選擇
采用計算測試CPU的計算能力,必須保證以下兩點:
(1) 測試進程應盡可能不影響CPU的正常工作,當然由于測試進程的引入必將影響到CPU正常運行,應設法讓這種影響降到一個可以接受的程度,并且使計算給系統帶來的開銷盡可能小。
(2) 測試進程要有一定的計算量,如果計算量過小,會使初始化、函數調用等操作消耗的時間在進程的執行時間t中占有較大的比重,從而使WMFLOPS的值比真實值小,影響測試結果的精確性。
為同時保證(1)需要較小的計算量和(2)需要較大的計算量,選擇合適的測試計算量十分重要,為此,提出采用計算量動態選擇的算法確定計算量。
計算量的大小控制可以通過改變WfpSensor中調用Whestone程序的次數(NUM_LOOPS)實現。假定使計算執行時間t(單位:s)在 0.5~1.5的計算量是合理值,計算量調節系數為xs。WfpSensor啟動時,NUM_LOOPS賦初值。調用Whestone計算結束后,如果:
(1) 0.5≤t≤1.5,在合理區間內,NUM_LOOPS的值保持不變。
(2) t>1.5,計算量偏大,下次測試應減小Whestone的調用次數,則NUM_LOOPS=NUM_LOOPS/xs。xs為t四舍五入后的整數值。
(3) t0.5,計算量偏小,下次測試應增加Whestone的調用次數,則NUM_LOOPS=NUM_LOOPS3xs。xs為(1/t)四舍五入后的整數值。
具體算法如下:
start_usec=PAPI_get_real_usec();//通過PAPI函數獲得計算開始時的時刻
do_wst(NUM_LOOPS);//Whestone寫成函數,對它進行調用,NUM_LOOPS是調用次數
end_usec=PAPI_get_real_usec();//通過PAPI函數獲得計算結束時的時刻
t=(end_usec-start_usec);//獲得計算執行的時間
if(t>1.5)//根據本次計算執行時間決定下次測試的調用次數
{
if((t-floor(t))>0.5)//取最靠近t的整數
xs=floor(t)+1;
else
xs=floor(t)
NUM_LOOPS=NUM_LOOPS/xs;//修改調用次數
}
else
if(t0.5)
{
if((1/t-floor(1/t))>0.5)//取最靠近1/t的整數
xs=floor(1/t)+1;
else
xs=floor(1/t);
NUM_LOOPS =NUM_LOOPS3xs;//修改調用次數
}
評論