設備軟件可靠性測試

現有的測試手段中，最直接的方式是通過改動硬件線路或干預數字信號制造故障。此外，可以通過軟件加入調試命令，對一些關鍵器件的狀態進行修改，設置為非法的狀態來模擬故障。

3、壓力測試

任何設備或系統都是在一定的工作負荷下完成其功能。如果外部加入的工作負擔超過其最大能力，系統效能會下降甚至是停止工作。這是一種與可用性相背離的特性，卻是任何系統的必然屬性。很多重要系統是通過增加硬件成本，人為降低承諾指標來緩解這一問題，然而事實上都存在一個能力極限，除非輸入子系統進行了硬性限制。

為了提高設備的性價比，一般軟件系統不會設定承載能力的硬性約束，因此，設備都會面對超負荷工作的場景。軟件設計力爭減少超負荷運行的負面效應，使系統在合理壓力下能夠正常運作是可靠性的一個重要考量。雖然用戶不會要求設備能在超負荷的工作環境下連續穩定運行，但在真實網絡中，負荷波動是無法避免的，短時間的超載運行不應該導致災難性的后果。

事實上，壓力除了令系統的計算能力經受考驗，也會使系統內的很多資源被軟件進程占用；如果壓力消除以后，這些資源不能被充分釋放和回收，經受過壓力的系統將無法完全恢復正常的工作能力。

壓力測試就是通過制造設備的超載負荷，模擬設備在真實環境下可能遇到的場景。一臺網絡設備會有很多負載指標，驗證各個指標的超載工作能力是一項繁雜的測試工作。除了觀測壓力下設備的反應，在負荷恢復到承諾指標范圍內之后，系統完全達到正常工作狀態的能力和恢復時間也是用戶關心的指標。這些高負載的測試一般都要依賴專用的測試儀器來模擬。

一般在設備規格會寫明產品支持的IP路由表容量、最大轉發數據流量、ARP或MAC地址容量等指標。測試的工作就是把被測試設備與測試儀器連接，通過儀器構造與規格指標相同或略低的一項負載，再制造一個10%左右的異常波動沖擊被測設備，并觀察被測設備在加載超載負荷前、負荷中和恢復到初始設定負荷之后的實際表現。

不受壓力影響和能快速恢復的設備是可能被制造出來的，但是代價是必然提高硬件和軟件成本。因此一個合理的可接受的壓力反應和恢復時間，往往需要根據用戶的使用場景和可承受成本綜合考慮。

4、內存耗盡測試

與硬件發生故障類似，軟件所要面對的另一種是情況是資源枯竭。因為軟件要流暢地運行需要依賴很多外部資源，其中包括：內存、定時器、隊列、文件句柄、Socket等等。這些資源中最關鍵的就是內存，因為很多資源不足可以等待，內存短缺會導致立即的操作失敗。一個復雜的軟件系統內存資源都是動態申請和釋放的， 在各個處理進程之間動態流轉。在突發任務占用大量內存的情況下，其他任務就可能面臨資源枯竭。一個良好設計的軟件系統需要設定內存門限，一旦內存消耗達到門限會強制一些不重要的任務退出運行而釋放資源。而且所有申請內存的任務需要自身設計保護代碼，避免沒有申請成功時誤入歧途。

資源耗盡的情況下軟件系統必然會產生一些功能受限的反應，只要這種情況能在資源充足后得到恢復就不構成嚴重問題。確認系統在資源不足時沒有異常反映，合理屏蔽了次要功能，同時確保高優先級進程得到應得的資源就是軟件測試所要做的工作。

測試手段通常是啟動一些重要的功能和構造動態的運行負荷，然后用調試命令占用內存或啟動一些消耗型任務占用內存，以構造資源耗盡的條件，觀察被測系統在內存枯竭后的反應，并繼續進行操作。最后再通過釋放占用的內存來恢復正常條件，觀察系統受影響的功能是否自動恢復。

內存耗盡測試的原理非常簡單，但是因為動態分配內存的指令無處不在，測試覆蓋各種流程分支就要設定各種組合條件，存在很大執行的難度。內存耗盡測試可能發現長期隱藏于軟件中的嚴重問題，徹底解決這些問題，對軟件的可靠性有很重要的意義。

5、拷機測試

由于軟件固有的邏輯復雜性和系統測試手段的限制，有些問題只有在實際環境下經過足夠長時間運行才會出現。拷機測試就是在實驗室模擬設備運行的真實工作場景，通過規定負荷及偶發性過載條件下連續運行，觀測被測設備連續無故障運行時間，俘獲異常錯誤的測試。

測試所構造的工作場景能否還原真實應用，是能否提早發現問題的關鍵。由于用戶的應用場景千差萬別，需要用很多設備搭建組網來還原，而且必須等候足夠長的時間，這是一種高成本的測試方式，卻又不可替代。測試人員一般會采用頻繁觸發設備狀態變化的手段加速問題出現，這對某些問題有效，卻可能隱蔽另外一些問題。

H3C的每個產品都要經過嚴格測試，其中必須進行的一項就是長時間的拷機環境測試。設備被接入一個運行各種拓撲管理協議和有大量背景流量的模擬環境，以驗證設備在典型應用環境下7*24小時的穩定運行。即使產品已經在市場正式投入使用，這套拷機環境還會持續運行，并且經常調整流量和業務規劃，以期覆蓋更多的用戶應用環境。

6、收斂指標測試

對網絡設備而言，保證網絡通暢是其最重要的功能之一。因此，網絡設備除保障自身連續運行外，還專門設計了很多從環境故障中恢復網絡連通性的協議。有些則是針對自身發生異常時實現冗余硬件切換，流量路徑切換或快速故障恢復的協議。針對這些情況，有一個通用的度量指標，即網絡收斂指標，是通過網絡中斷服務（或故障恢復）時間來考察設備或網絡提供的可靠性。

任何一種網絡路由協議或拓撲管理協議都是為了在動態變化的網絡中提供一個可行的流量路徑而設計的，所以收斂是一個基本屬性。從注入拓撲變化或故障發生的時間開始，網絡服務和數據流量受到影響，在拓撲收斂后路徑切換到備份網絡上，恢復網絡服務和流量所經歷的時間就是收斂時間。為加速收斂而提出的一些附加技術可以使收斂時間縮短到毫秒級甚至在設備主控發生重啟等情況下提供不中斷的轉發服務。

圖4 IGP路由收斂測試組網圖

IGP收斂的測試實例。

如圖4所示，被測試設備首先從B和C端口學習到大量的IGP路由信息，其中B端口的度量值優于C端口。測試儀器用穩定的流量由A端口發送，被測設備轉發到B端口。測試儀器通過在B端口模擬拓撲變化，撤銷一部分路由信息，受影響的流量開始丟失。被測試設備在完成路由計算后將這些流量重新路由到C端口上。測試儀器通過計算這個過程丟失的數據流量和發送速率折算收斂過程經歷的時間。