毋懼炎炎高溫：OCP如何應對下一代數據中心的散熱設計挑戰

隨著數據密集應用不斷增長，超大規模數據中心的工作負荷日益繁重。數據中心內的網絡流量顯著增加，促使架構師開始尋找新方法以實現更高的數據速率和吞吐量。

目前， 最先進的網絡適配器(NIC) 達到每端口200 G 速率。然而，為了滿足數據中心日益增長的需求，業界正朝向使用400 G NIC 方向發展，但前提是相關的支持技術需要同時進步，而這絕非易事。Molex（莫仕）深入探討伴隨這項轉變而來的散熱挑戰，以及我們的合作工作小組解決這些難題的獨特方法。

400G運作的散熱挑戰

下一代數據中心會過渡至400G 網絡適配器，因而面臨各種散熱方面的難題。

我們面對的第一項挑戰是更高的數據速率會消耗更多的功率。通過廣泛的研究、試驗和仿真，我們發現數據速率和熱量產生之間的關系大致是線性的，其中數據速率提高一倍，將使得系統發熱量增加兩倍以上。結論是什么？那就是網絡適配器速率從200 G 轉變成400 G后，系統熱量將會大幅增加。

第二項挑戰則在于需要可支持400 G NIC 的基礎設施。與使用無源直接連接電纜(DAC) 的200 G NIC 不同，有時400 G NIC可能需要使用大功率有源光纜(AOC)來支持高數據速率。這些大功率AOC 的功耗可高達8W，會將自身的熱量導入系統，再加上以高速率運送數據，使得溫度不斷升高。

質疑基礎設施

這些迫在眉睫的散熱挑戰，使得我們對目前NIC 環境基礎架構中某些零組件的可行性產生懷疑。我們與英偉達(NVIDIA) 和Meta 兩家公司合作，更加深入地研究這個難題。

一項研究重點是外形尺寸。具體而言，我們調研了使用OCP NIC 3.0 業界標準小型光纖連接頭(small form factor，SFF) 產品的可行性，看看它能否匹敵早前提出的TSFF(tall SFF)。眾所周知，TSFF 可以提供更多空間，因此能實現更優異的I/O 散熱解決方案。在理想情況，系統架構師可以在可能的情況下繼續采用SFF。真正的問題在于，SFF 是否能為400 G NIC 提供可行的解決方案？或者我們是否需要轉而將TSFF 定為業界標準？這個問題很難給予直接的答復，因為有幾個變量可能會對結論有所影響。出于這個原因，我們的研究工作考慮了許多可能顯著影響散熱性能的因素，包括以下幾個方面。

●   外形尺寸：TSFF 對比SFF。

●   NIC ASIC 功率限制( 僅限使用DAC 電纜)。

●   模塊類型：QSFP-DD Type 1 對比Type 2 A。

●   監測位置點：機箱后部上方的平均溫度、散熱器

底座溫度和前端溫度。

●   測試裝置類型︰有/ 無測試裝置。

●   冷信道對比熱信道。

模擬試驗的設置與假設

每一攝氏度溫度的變化，都對結論有影響。由于涉及到可行性，因此有必要確保模擬試驗反映著現實且合理的使用狀況。

對此，我們的模擬試驗同時使用了TSFF 和SFF 兩種外形尺寸的OCP NIC 3.0 網絡適配器來建立模型。英偉達公司慷慨地為研究提供了進行模擬試驗的ASIC 原型設計散熱模型ConnectX-6 DX。為了進行模擬試驗，我們假設功率上限為23 W，并根據配備標準鋁制散熱器的裝置建立了模型。

對于QSFP-DD 類型模塊，我們使用了常態功耗為10.2 W 的多信道散熱模型。與ASIC 原型設計相似，我們選擇為QSFP-DD 模型配備了標準鋁制散熱器，使得覆蓋的受熱表面積最大化，但不采用任何先進的冷卻技術或材料，目的是了解前面所強調的變量之間的相對影響。

對于模擬試驗的環境，我們同時測試了熱信道和冷信道兩種環境。熱信道的環境溫度為55°C，氣流速度范圍為200 至1 000 LFM( 每分鐘線性英尺)，氣流方向從后至前。所有這些都符合OCP 3.0 技術規范。另一個不同環境是冷信道，模型環境溫度為35°C，氣流速度范圍為200 到600 LFM，氣流方向從前至后。如圖1 所示，我們的模擬實驗使用了符合英偉達OCP NIC 3.0 規范的測試裝置，包括安裝在測試盒內的兩個相同的網絡適配器。

圖1 在模擬測試中所使用的測試裝置和模型設置

調研結果：外形尺寸的影響

通過模擬試驗結果，我們了解到數個邊界條件和變量如何對散熱性能產生了非零影響( 即是超過幾攝氏度)。

在調研中，第一個值得注意的結果是，外形尺寸對QSFP-DD 模型的散熱性能造成了重要的影響。如圖2所示，我們發現TSFF 的散熱性能明顯優于SFF，尤其是在氣流速度較低的時候。在這種情況下，散熱性能提升了多達6 C ° 。盡管這個結果并不令人驚訝，但6°C 的改進幅度確實很突出。

同樣地，我們的研究結果顯示，在熱信道應用中使用TSFF 尺寸時，ASIC 原型設計的散熱性能提高了10°C之多。另外，關于NIC ASIC原型設計的功率限制參數( 無源DAC 應用)，與在熱信道條件下使用SFF相比，采用TSFF 的模塊功率限制增加了約2.5 W。

圖2 我們在模擬試驗中發現TSFF的散熱性能明顯優于SFF

調研結果︰還須考慮其他變量

除了外形尺寸，我們的調研還深入了解模塊類型和監測位置點對于散熱結果的影響。在比較兩款業界標準模塊時，我們發現QSFP-DD Type 2 A 模塊具有出色的散熱性能，改進了大約4 C ° 。這項性能改進的主要原因是Type 2A 模塊本身前端有一個外部整合散熱器。同樣地，這個結果并不令人驚訝，但非常突出。

最后，我們發現不同的監測位置點( 也就是模塊上的探測點) 之間存在溫度偏差。例如，仿真試驗顯示，散熱器底座的監測溫度相比前端的監測溫度降低5 C ° 。如圖3 所示，在量化NIC 模塊的熱性能時，監測位置點顯然是不可忽視的考慮因素。

圖3 所使用的監測位置點對散熱結果有重大影響

調研結論

我們的調研深入了解了幾個特定變量和邊界條件對散熱性能的影響，但結果并不是主要的結論。相比發現哪些設置“合理呈現真實環境”而言，更重要的是，這項研究表明業界迫切需要就這些變量和邊界條件達成共識。

以模塊類型和監測位置點等變量為示例，試驗結果顯示， 模塊類型對于散熱性能會造成重大的影響( ? 4°C )，這個發現帶來一個問題：除了排除SFF 尺寸在400G NIC 的可用性之外，是否可以保留SFF 尺寸但改用Type 2 A QSFP-DD 模塊呢？到目前為止，業界尚未達成共識。如要對SFF 的可行性得出真正的結論，首先要進行定義并在業界達成共識。

同樣地，業界目前也沒有針對監測位置點達成一致的標準。調研顯示，監測散熱性能的位置點會對仿真試驗結果產生重大影響，差距甚至可高達5 C ° 。如果我們不能就監測位置點達成一致共識，那么所有的研究數據之間就缺乏一致性，這將導致無法真正地比較試驗結果。這里再次強調，OCP 和整個業界要邁向400G NIC 發展，首先必須達成共識。

呼吁采取行動

如何才能達成關鍵的業界共識？我們認為模塊、I/O、NIC、系統和數據中心多個專業領域需要參與更多。這樣的合作將幫助OCP 更好地協調可實現的目標，并確定最合適的環境來進行這些可行性研究。而且，到目前為止的研究所涵蓋的范圍并不全面，我們還必須考慮其他的變量，包括采用QSFP-DD 有源電纜(AEC) 的可行性，預計其耗散熱量低于AOC。

如果業界發現SFF 無法適用于AOC，下一步可能考慮使用AEC。此外，如果發展采用TSFF 尺寸網絡適配器，就需要擴展研究內容，涵蓋采用整合散熱器的八個SFF 可插拔模塊(OSFP-RHS) 端口的可行性。

業界多方合作對于達成散熱設計共識極為重要，而OCP 將會發揮關鍵的作用。Molex 莫仕非常榮幸能與Meta 和英偉達合作，針對相關的下一代解決方案進行試驗研究。我們三方合作設計測試方案，并仔細進行模擬以量化每一個已定義變量的影響，然后共同分析結果，并且在數據中心需要援手時，尋求達到新性能水平的方法。

（本文來源于《電子產品世界》雜志2022年3月期）