下一代數據中心基礎設施更注重熱管理的重要性

作者 / Joe Dambach Molex公司

摘要：高密度的 QSFP-DD 光端機可以使制造商生產出更具競爭力的網絡服務器、交換機和存儲產品，為日益提高的數據流量以及更加復雜的數據中心與電信網絡提供支持，致力于為制造商帶來巨大的價值。

　　圍繞著SFP、SFP+、QSFP、QSFP+ 和 zQSFP 等形形色色的小體積可插拔模塊而開發的一系列高速度高密度解決方案，在數據中心的交換機和網絡設備領域取得了極大的吸引力。隨著行業為下一代銅纜和光纜QSFP-DD收發機的發布而準備就緒，熱管理策略發揮著關鍵性的作用。

　　“小”體積可插拔I/O這一名稱具有一定的迷惑性。這類體積小巧而又功能強大的連接器在高密度網絡上發揮著主要作用，可以處理手機和移動設備、流媒體內容、數字自動化和工業傳感器、人工智能、預測分析以及一系列其他數據驅動技術所產生的海量數據。

　　據分析師預測，截至2020年，物聯網可能會連接起多達2000億臺設備(來源：IDC、英特爾、聯合國)。數據中心的增長速度異常迅猛，而不斷上升的需求以及數據量都在使密度與功率接近極限。芯片、交換機、連接器、線纜及光學模塊技術都屬于網絡的核心領域，對每一分支領域都產生著深遠的影響，一直延伸到個人與企業，在這類環境下，延遲或停機都會很快導致營收和商業機會上遭受多達數百萬美元的損失。

　　如果沒有所需的關鍵性基礎設施來為未來的數據速率提供支持，那么現存的瓶頸情況將愈發惡化。以后將需要在存儲、服務器和交換機上作出進一步的投入，保存數據并使數據可即時訪問。沒有對未來的高速及高密度數據準備就緒的數據中心將日益面對延遲問題，最終遠遠落后于競爭對手。

　　為網絡、服務器和存儲設備提供無縫可靠的連接，對于確保快速、有效而又安全的數據流動至關重要。數據中心必須能夠支持更快的處理速度、更寬的帶寬以及更高的密度。為了做到這一點，需要極好地配合并集成I/O連接功能，協調來自不同供應商的 IT設備之間的互操作性。工作量越大或者復雜性越高，使各個組成部分相互平衡、良好指定其用途的重要程度就越高，這樣才不會由于疏忽而造成瓶頸，進而影響到性能。

　　可插拔I/O產品的產品組合經過了不斷的演進，全部都圍繞著各種可插拔的I/O模塊形式而發展，每種產品變型都具有不同的帶寬、距離以及銅纜或光纜連接功能。每條特定的鏈路都采用光纜或銅纜接口，以經濟節省的方式進行定義。可插拔I/O解決方案的設計在數據中心和電信行業常用的各種距離上都支持最快的數據速率，而延遲和插入損耗更低，具有出色的信號完整性、電磁干擾(EMI)保護功能及熱管理性能。

可擴展可互操作的I/O升級路徑

　　高速、高密度的可插拔I/O解決方案為高密度應用提供了一種高度可擴展的升級路徑。自從SFP的形狀系數引入了1Gbps的數據速率以來，行業已經發展了很長的一段時期。QSFP光端機新增了配置選項，將密度和速度推向100Gbps。QSFP+熱插拔光端機應用廣泛，專為高密度數據通信而設計，集成了四條發射信道及四條接收信道，提高了端口密度并進一步降低了成本，無需再購買更多數量的傳統式SFP+產品。zQSFP+系統滿足對高密度的要求，在四條通道上的數據速率高達28Gbps，在數據中心的高性能計算、交換機、路由器和存儲方面已成為一種普遍的選擇，具有較高的價值。

　　滿足數量增長迅猛的無線設備對帶寬的要求，已經成為服務器農場設計中提高密度的一項催化劑。高度集成的QSFP系統將空間、功率和端口密度有效地結合到一起，通常將包含連接器、電磁干擾屏蔽籠、銅纜和光纜組件、有源光纜(AOC)、光學回路，以及主機連接器。zQSFP+互連解決方案支持下一代100Gbps以太網和100Gbps InfiniBand增強數據速率應用，以每條串行通道25Gbps，的數據速率傳輸數據，具有出色的信號完整性、電磁干擾防護性能以及熱冷卻功能。

下一代QSFP-DD形狀系數使速度提升四倍

　　網絡依靠交換技術來處理及管理數據流量。隨著數據使用量的不斷上升，處于網絡上核心地位的交換機可以保持數據的順暢流動。高密度解決方案可以在一定程度上緩解核心交換機的壓力。連接器不可以構成瓶頸。市場上的硅片已經可以支持256條差分通道。缺失的鏈路作為一種連接器的形狀系數，可以提供充分的密度，在一個機架單元的安裝盒中即可支持這一數量的通道，同時對熱工及信號完整性進行管理。

　　行業當前正處于下一代QSFP解決方案的開發過程中，與交換技術最近的發展情況保持一致。在 2016年達成了QSFP-DD MSA，解決技術上的挑戰，實現雙密度的接口，并為不同制造商生產的模塊組件確保機械、電氣、熱工和信號完整性上的互操作性。

　　作為一家QSFP-DD MSA的發起者和推廣者，Molex與其他52家公司開展了密切合作，滿足業界對高密度高速度網絡解決方案的需求。集團最近為這一新的形狀系數發布了規范，可以克服之前在指定 QSFP28兼容雙密度接口時遇到的技術挑戰。

　　四分之一小形狀系數可插拔雙密度(QSFP-DD)規范定義了一種模塊、一種堆疊式的集成箱體/連接器系統，以及一種表面貼裝的箱體/連接器系統。這一新的形狀系數對標準的QSFP四通道接口進行了拓展，增加了一排觸點，從而提供八通道的電氣接口，其中每條通道都可在采用非歸零碼(NRZ)調制的情況下、在高達25Gbps的速率下運行，或者在采用脈沖調幅 (PAM4)的情況下、在高達50Gbps的速率下運行。

　　此次功能適應使得QSFP-DD可以在每個QSFP-DD端口上滿足解決方案對200 Gbps速率的要求，或者對400Gbps聚合速率的要求。一個單獨的交換機插槽即可支持多達36個QSFP-DD模塊。因此，總容量可達到14.4 Tbps。

有效的冷卻和熱管理為投資提供保護

　　從SFP+(1x10Gbps)到QSFP+(4x10Gbps)、zQSFP+(4x25Gbps)，一直到現在的QSFP-DD(8x25 Gbps NRZ/50 Gbps PAM4)，隨著收發機速度的不斷增加，用于傳輸信號的能量也隨之增加，產生越來越多的熱量。冷卻和熱管理對于連接器模塊以及網絡的總功耗、能效、性能與壽命來說，都具有至關重要的作用。

　　散熱器技術的發展可以實現高效、可靠而又具有彈性的熱管理策略，同時支持更高密度的銅纜與光纜連接。QSFP光學模塊設計可在最高70℃的溫度下運行。超過這一溫度后，光學元件的性能將會降低，而壽命則會縮短。由于價格點已經下調，光纖組件仍然是一種成本相對高昂的投資對象，由于存在著極端溫度而承受一定的風險。

　　通道數量少于四條I/O模塊通道通常可以通過用于冷卻其他組件的氣流來進行冷卻。采用四條信號通道的 QSFP形狀系數需要結合氣流與散熱器使用。zQSFP形狀系數最初并不適用散熱器，僅依靠氣流來對模塊進行冷卻。隨著數據密度的不斷提高，各種散熱器被添加到了模塊的中心和頂部，以及箱體結構上，從而改善氣流及冷卻效果。

　　由于zQSFP+的速度超過了100Gbps，而電力負載超過了4W，系統管理及光學模塊溫度的管理上就面臨更多挑戰，從而不超過70℃的最高溫度。總體設計必須通過整個箱體來操控氣流，采用散熱器則可以將模塊上的能量轉移到存在氣流的區域。Molex已經開發并演示了創新性的通流和內部自調整式散熱器(IRHS)技術，為在高達5W或更高的功率下運行的堆疊式zQSFP+模塊提供熱管理。

　　Molex進行的測試主要關注于最高環境溫度約為 45℃的企業應用，對通流式箱體進行了比較，該箱體針對模塊內所產生能量的管理進行了優化。對5W的光學模塊進行模擬，采用的風洞包含了兩個2x1的箱體——一個是氣流增強型箱體，另一個是標準箱體，每一側都含有兩個zQSFP+模塊，并且包含了電源，以預定的速度在測試區域中驅動風扇。

　　通過對這四個模塊中每一個模塊內部的溫度進行連續監控，對標準型zQSFP+箱體和氣流增強型箱體的相對性能進行了比較。在采用了增強型的箱體設計、散熱器及能量傳遞策略后，與標準箱體相比，增強型箱體實現了顯著的改進，將冷卻系數降低了9℃。

　　QSFP-DD模塊在深度略微大于QSFP的空間內為八條通道提供支持。這意味著模塊中有八束激光可以發熱，需要冷卻與散熱。通過有效的使熱能翻倍，3.5W的模塊可以成為7W的模塊，而5W的模塊則可成為10W的模塊，諸如此類。

　　在這類極端的高熱下對熱性能進行管理，將成為前進中至關重要的一步。模塊和箱體設計中采用的先進熱管理技術使QSFP-DD能夠支持至少7W的功率水平，而目標范圍則拓展至10W。Molex與其他MSA合作伙伴以及贊助的成員企業正在開發QSFP-DD產品，其箱體和模塊現可供貨，在客戶環境下進行熱測試。附加工作也已在進行中，為在高達12W或更高功率下運行的QSFP-DD模塊的冷卻開發各種解決方案。

延長現有平臺的壽命

　　對更高密度以及更好的功率管理和熱管理的需求，將繼續推動改進型I/O模塊的開發工作。新型網絡技術的普及率在逐步提升。產業投資和多廠商的投資有助于確保每一代可插拔I/O之間的互操作性。

　　向下的兼容性可以延長現有平臺的壽命，進一步提高了面向未來的準備程度。例如QSFP和zQSFP+ 共享了相同的配對接口。盡管是一種全新的接口，QSFP-DD還是構建在這些原先的技術基礎之上。雙倍密度指與標準的QSFP28模塊相比，QSFP-DD模塊所支持的高速電氣接口的數量增加了一倍。為了承受額外的一排觸點，主機板上QSFP-DD的機械接口深度略微大于標準型的QSFP28接口。

　　QSFP-DD的每個端口都有76個電氣觸點，隨著數據中心容量的擴展，可以為更高密度應用中的下一代交換芯片提供支持。QSFP-DD已經為支持50Gbps 的新型PAM4電調制格式準備就緒，可以進一步使速度翻倍，從而使速度達到QSFP28模塊的四倍。在初次使用QSFP-DD模塊時，大部分情況都將支持NRZ 調制的數據速率。PAM4允許在給定的帶寬上傳輸更多的信息，但是需要更高的處理能力來為數據編碼和解碼，這就容易造成延遲及相應的性能下降問題。

　　采用QSFP-DD模塊設計的系統將向下兼容現有的QSFP形狀系數，為最終用戶、網絡平臺的設計方以及集成商提供最大的靈活性。除了QSFP-DD規范可以在給定的面板空間內多容納四條通道并使QSFP28 的聚合帶寬提升一倍外，端口的密度是完全一致的。QSFP28模塊可以插入到QSFP-DD中八條電氣通道的四條之中，以便逐步逐量地對線纜和模塊升級。

結論

　　高密度的QSFP-DD光端機可以使制造商生產出更具競爭力的網絡服務器、交換機和存儲產品，為日益提高的數據流量以及更加復雜的數據中心與電信網絡提供支持，致力于為制造商帶來巨大的價值。

　　本文來源于《電子產品世界》2017年第11期第28頁，歡迎您寫論文時引用，并注明出處。