AI網絡架構或將進入“無交換機”時代

在當今數字化時代，人工智能（AI）技術的飛速發展正在重塑各個領域的基礎設施，其中包括支撐AI運行的網絡架構。傳統的數據中心網絡架構以交換機為核心，構建了層級化的數據傳輸路徑。然而，隨著AI大模型訓練規模的爆炸性增長，這種傳統架構正面臨前所未有的挑戰。

大模型訓練帶來了超密集的GPU/GPU通信需求。以目前主流的大語言模型為例，訓練過程中需要在數千甚至上萬張GPU之間頻繁交換海量數據。這些GPU之間的通信不再是傳統意義上的“服務器間通信”，而更像是“芯片間通信”。在這種情況下，數據中心已不再是簡單的“服務器的集群”，而是演變為“芯片的集群”。

想象一下，如果我們把傳統數據中心比作一個城市交通系統，那么服務器就像是分布在城市各處的辦公樓，而交換機則是連接這些辦公樓的道路網絡。但在AI時代，這個比喻已經不再貼切。現在的AI數據中心更像是一個超大型工廠，每個GPU就像工廠中的一個工作站，它們需要高頻率、低延遲地交換半成品，任何傳輸延遲都會顯著影響整體生產效率。

在這種背景下，一個核心問題浮出水面：如果芯片間可以直接連接，交換機還需要存在嗎？這就像是在問：如果工廠中的每個工作站都可以通過傳送帶直接相連，我們還需要中間的物流中轉站嗎？這個問題引發了對“無交換機網絡”可能性的深入思考。

什么是“無交換機網絡”設想？

所謂“無交換機網絡”并非完全沒有交換功能，而是指不再依賴傳統的ToR（Top of Rack）/Leaf/Spine層級交換機拓撲結構的網絡架構。在這種設想中，芯片/節點之間通過直接互聯、片上網絡或光互聯等技術實現數據交換，而不必經過多層交換機的轉發。

如果繼續使用工廠的比喻，傳統網絡架構就像是工廠中的物料需要先送到車間集散點，再送到樓層集散中心，最后通過中央物流中心才能到達另一個車間。而“無交換機網絡”則是在工作站之間建立直接的傳送帶，物料可以直接從一個工作站傳送到另一個工作站，大大減少了中轉環節和時間。

“無交換機網絡”的發展主要沿著兩條路徑演進：

路徑一：從“交換機集中化”向“連接分布式”演進

這條路徑的代表是NVIDIA的NVLink/NVSwitch技術。在傳統架構中，數據交換集中在網絡交換機上進行。而在NVLink/NVSwitch架構中，交換功能被分散到各個計算節點或專用的交換芯片上，形成一種分布式的交換網絡。這就像是取消了工廠中的中央物流中心，而是在每個車間或工作站附近設置小型的物料中轉站，使物料傳輸路徑更短、更直接。

路徑二：從“網絡設備”向”連接芯片”過渡

這條路徑的代表是晶圓級網絡和Chiplet互聯技術。它將網絡功能進一步下沉到芯片級別，甚至集成到計算芯片內部。這就像是將物流系統直接集成到工作站內部，工作站不僅具備加工功能，還具備物料傳輸和調度功能。在這種架構下，傳統意義上的“網絡”概念被徹底重構，變成了芯片內部或芯片間的直接互聯。

這兩條路徑雖然出發點不同，但都指向同一個目標：減少數據傳輸的中間環節，降低延遲，提高帶寬，更好地滿足AI計算對網絡的極高要求。

驅動“無交換機”趨勢的核心力量

1. GPU計算集群的密度爆炸

隨著AI模型規模的不斷擴大，GPU計算集群的規模和密度也呈爆炸式增長。當前主流的大語言模型訓練已經從早期的數百卡規模擴展到萬卡級AI訓練集群。在這種超大規模集群中，網絡瓶頸已經成為制約性能提升的主要矛盾。

傳統的多層交換網絡架構在面對如此密集的計算節點時，不可避免地引入了額外的延遲、功耗和路徑不可預測性。以一個典型的三層Clos網絡為例，數據包從一個GPU傳輸到另一個GPU可能需要經過6-7跳的交換機轉發。每一跳都會增加約1-5微秒的延遲，累積起來就會顯著影響訓練性能。

在我們的工廠比喻中，這就像是隨著工廠規模的擴大，物流中轉站越來越多，物料在各個中轉站之間的傳輸時間甚至超過了加工時間本身。工人們大部分時間都在等待物料到達，而不是進行實際生產。這顯然是極其低效的。

此外，多層交換架構的功耗問題也不容忽視。據估計，在大型AI訓練集群中，網絡設備的功耗可能占到總功耗的15-20%。隨著集群規模的擴大，這一比例還會進一步提高。在能源成本和碳排放日益受到關注的今天，降低網絡功耗已成為設計高效AI基礎設施的重要考量因素。

2. 封裝技術演進：Chiplet + Co-Packaged Optics

芯片封裝技術的革新是推動“無交換機”趨勢的另一個重要力量。傳統的單芯片設計面臨著摩爾定律放緩的挑戰，而Chiplet技術通過將多個小芯片集成在同一封裝內，為高性能計算提供了新的可能性。

在Chiplet架構中，同封異構互聯正在逐步替代傳統的板間通信。數據不再需要“上機架”，而是直接“走芯片”，大大減少了通信延遲和功耗。例如，AMD的EPYC處理器采用Chiplet設計，將多個計算芯片通過高速互聯總線連接在一起，形成一個統一的處理單元。這種設計理念也正在被應用到AI芯片領域。

與Chiplet技術相輔相成的是Co-Packaged Optics（CPO）技術。CPO將光學收發器與交換芯片或處理器集成在同一封裝內，實現電信號與光信號的高效轉換。這種技術可以顯著提高數據傳輸距離和帶寬，同時降低功耗。目前，英特爾、博通等公司都在積極推進CPO技術的商用化。

回到我們的工廠比喻，這就像是將原本分散在不同車間的工作站整合到同一個超大型工作平臺上，工作站之間通過內部傳送帶直接連接，無需經過外部物流系統。同時，為了連接較遠距離的工作平臺，我們使用高速傳送帶代替傳統的物流車輛，實現更快速、更高效的物料傳輸。

3. 網絡智能化趨勢

網絡智能化是推動“無交換機”趨勢的第三個核心力量。傳統網絡架構中，路由和轉發決策主要由交換機完成。而隨著DPU（數據處理單元）和SmartNIC（智能網卡）的興起，這些功能正在向網絡邊緣遷移。

DPU和SmartNIC提供了“端到端路徑調度能力”，使得交換轉發功能可以下沉到計算節點本身。例如，NVIDIA的BlueField DPU和英特爾的IPU都具備強大的網絡處理能力，可以卸載主機CPU的網絡處理負擔，同時提供更靈活的網絡功能。

在這種趨勢下，AI網絡不再依賴集中控制，而是向“邊緣即網絡”的方向演進。每個計算節點都成為網絡的一部分，具備自主的路由和轉發能力。這種分布式的網絡架構更適合AI工作負載的特點，可以根據實際通信需求動態調整網絡路徑，提高網絡利用率。

這就相當于每個工作站都配備了智能調度系統，可以根據生產需求自主決定物料的傳輸路徑，而不必依賴中央調度中心。工作站之間可以直接協商，選擇最優的物料傳輸方案，大大提高了生產效率和靈活性。

這三股力量——GPU計算集群的密度爆炸、封裝技術的演進和網絡智能化趨勢——共同推動著AI網絡架構向“無交換機”方向演進。它們從不同角度解決了傳統網絡架構面臨的挑戰，為AI計算提供了更高效、更靈活的網絡基礎設施。

已有探索：無交換/弱交換架構實例

1. NVIDIA NVLink / NVSwitch 架構

NVIDIA的NVLink和NVSwitch技術是當前最成熟的無交換/弱交換架構實例之一。NVLink是NVIDIA開發的高速互連技術，最初用于GPU與GPU之間的直接通信，后來擴展到GPU與CPU、GPU與存儲設備之間的通信。

在最新的H100/H200 GPU架構中，第四代NVLink提供了高達900GB/s的雙向帶寬，遠超傳統PCIe接口的帶寬。這使得GPU之間可以高效地共享數據，而無需通過主機內存或外部網絡進行中轉。

NVSwitch則是基于NVLink技術的專用交換芯片，可以將多個GPU連接成一個全連接網絡。在NVIDIA DGX系統中，多個NVSwitch芯片協同工作，構建了一個“芯片網絡”，使得系統內的所有GPU都可以以接近本地內存訪問的速度相互通信。

以DGX H100為例，一個系統內的8個H100 GPU通過NVSwitch全連接，形成一個統一的計算資源池。多個DGX系統之間則通過NVIDIA Quantum-2 InfiniBand網絡連接，構成更大規模的集群。在這種架構中，系統內部的GPU通信幾乎完全繞過了傳統網絡路徑，大大降低了通信延遲和帶寬限制。

在我們的工廠比喻中，NVLink/NVSwitch架構就像是在工廠內部建立了一套高速傳送帶系統，將相關工作站直接連接起來，形成一個緊密協作的工作單元。這些工作單元內部的物料傳輸速度極快，幾乎沒有延遲，大大提高了生產效率。

2. Cerebras Wafer-Scale Engine

Cerebras的Wafer-Scale Engine（WSE）代表了另一種極端的無交換架構思路——將整個神經網絡處理器集成在一個晶圓上，從根本上消除了跨芯片通信的需求。

傳統的AI芯片，如GPU或TPU，都是將一個大型晶圓切割成多個獨立芯片，然后通過封裝和外部互連技術連接起來。而Cerebras的WSE則保留了整個晶圓的完整性，將其作為一個超大型處理器使用。最新的WSE-2包含2.6萬億個晶體管和85萬個AI優化核心，所有核心都在同一片硅上，通過片內互連網絡相連。

這種設計完全消除了傳統AI系統中的跨芯片通信瓶頸，構建了一個“片內AI網絡”，具有幾乎無延遲、無Hop數的特點。在WSE上訓練神經網絡時，所有計算和數據傳輸都在同一片硅上完成，無需經過任何外部網絡設備。

Cerebras WSE就像是將整個生產線集成在一個超大型工作平臺上，所有工序都在這個平臺上完成，無需任何外部物流。這種設計極大地簡化了生產流程，提高了效率，但也面臨著規模擴展的挑戰——當需要更大的生產能力時，不能簡單地增加更多工作平臺，而需要設計更大的單一平臺。

但晶圓級設計的良率和成本挑戰較高，可能影響實際大規模部署。

3. Microsoft Optical Mesh

Optical Mesh是微軟探索的一種基于光互聯的數據中心網絡架構。在這種架構中，計算節點通過光纖直接連接，形成一個網狀網絡，減少了傳統交換機的層級。結合端點智能調度技術，這種架構可以根據實際通信需求動態調整網絡拓撲，提高網絡利用率和靈活性。

微軟的這些探索表明，光互聯技術結合端點調度可能是重構AI數據中心通信架構的重要方向。光通信的高帶寬、低延遲和低功耗特性，使其成為支撐下一代AI基礎設施的理想選擇。

這好比是用光束代替傳統的傳送帶連接各個工作站，光束可以根據需要動態調整方向和強度，實現更靈活、更高效的物料傳輸。

4. AWS Nitro架構中的極簡網絡分層

亞馬遜AWS的Nitro架構代表了另一種弱交換網絡思路——通過功能卸載和軟件定義，實現“極少交換機+ 軟件網絡路徑控制”的網絡架構。

在Nitro架構中，傳統服務器的網絡、存儲和安全功能被卸載到專用的Nitro卡上，這些卡類似于DPU，具備強大的網絡處理能力。Nitro卡接管了虛擬機與外部網絡的通信，實現了網絡功能的虛擬化和軟件定義。

這種架構大大簡化了物理網絡的復雜性，減少了交換機層級，同時通過軟件定義實現了更靈活的網絡控制。在Nitro架構支持的EC2實例中，虛擬機之間的通信可以通過Nitro卡直接完成，無需經過傳統的網絡路徑。

AWS Nitro架構雖然沒有完全消除交換機，但通過功能卸載和軟件定義，大大減少了對物理交換設備的依賴，代表了網絡架構簡化和智能化的重要趨勢。

在工廠比喻中，這就像是在每個工作站配備了智能物流控制器，這些控制器可以直接協商物料傳輸路徑，減少了對中央物流系統的依賴，同時保持了整體生產的協調性。

5. 星融元星智AI網絡架構

星融元（Asterfusion）的星智AI網絡架構提出了一種針對大模型訓練優化的扁平化網絡架構，通過重新設計網絡拓撲和通信路徑，大幅降低了網絡復雜度和通信延遲。通過消除跨GPU服務器不同GPU卡號之間的連接，只保留與GPU直接相連的Leaf層交換機，并將原本用于上連Spine的端口全部用于下連GPU。這種設計基于一個核心問題：在AI訓練中，相同編號的GPU卡之間的通信需求最為頻繁和關鍵。

具體實現上，星智AI網絡要求不同智算節點服務器間相同編號的網口連接到同一臺交換機。例如，所有服務器的1號RDMA網口都連接到1號交換機，所有服務器的2號RDMA網口都連接到2號交換機，以此類推。同時，在智算服務器內部，上層通信庫基于機內網絡拓撲進行網絡匹配，讓相同編號的GPU卡和相同編號的網口關聯。

這種設計使得相同GPU編號的兩臺智算節點間僅需一跳就可互通，大大降低了通信延遲。對于不同GPU編號的智算節點間通信，星融元利用NCCL通信庫中的Rail Local技術，充分利用主機內GPU間的NVSwitch帶寬，將多機間的跨卡號互通轉換為跨機間的同GPU卡號互通。

總的來說，上述這些無交換/弱交換架構實例從不同角度探索了傳統網絡架構的替代方案，為AI網絡的未來發展提供了重要參考。雖然它們各有優缺點，但都指向同一個方向——通過減少中間環節、增強端點智能、利用新型互連技術，構建更高效、更靈活的AI網絡基礎設施。

如果進入無交換機時代，會帶來什么變化？

1. 拓撲不再關鍵，布局將變成“平面陣列”

在傳統網絡架構中，網絡拓撲是核心設計要素。Fat Tree、Clos、Spine-Leaf等拓撲結構各有優缺點，網絡設計師需要根據應用場景選擇合適的拓撲結構。然而，在無交換機時代，拓撲的重要性將大大降低。

拓撲的本質是解決“繞線”問題——如何在有限的物理空間內，通過合理的線纜布局，實現節點之間的高效連接。但如果節點可以直接連接，或者通過更高級的互連技術（如光互聯）實現任意節點間的直接通信，那么傳統拓撲的意義就會減弱。

在無交換機架構中，網絡布局將更傾向于“平面陣列”——計算節點按照物理距離和通信需求排列，形成一個二維或三維的陣列結構。這種結構更像是一個均質的計算網格，而非傳統的層級化網絡。

回到我們的工廠比喻，這就像是從“中央物流+分支配送”模式轉變為“工作站網格”模式。在前一種模式中，工廠布局需要考慮物流中心的位置和配送路線；而在后一種模式中，工作站可以直接相連，布局更加靈活，更多地考慮實際生產需求而非物流限制。

這種變化將深刻影響數據中心的物理設計。傳統數據中心的機架排列主要考慮網絡拓撲和布線需求，而未來的AI數據中心可能更多地考慮計算密度、散熱效率和直接互連的便利性。

2. 網絡協議將更“端智能化”

在無交換機架構中，傳統的L2/L3網絡協議的作用將被大大削弱，取而代之的是更加智能化的端點協議和調度機制。

傳統網絡中，路由和轉發決策主要由交換機和路由器完成，端點（服務器、工作站等）只負責發送和接收數據。而在無交換機架構中，這些功能將下沉到DPU、SmartNIC或計算芯片本身，每個端點都成為一個“微型調度單元”。

這種變化將催生新型的網絡協議和調度算法。這些協議不再關注如何在復雜的網絡拓撲中找到最優路徑，而是更關注如何在直連或少跳的網絡中實現高效的帶寬分配和流量控制。例如，RDMA（遠程直接內存訪問）技術已經在高性能計算領域廣泛應用，它允許網卡直接訪問遠程主機的內存，繞過操作系統和傳統網絡協議棧，大大降低了通信延遲。

在AI訓練場景中，更智能的調度算法可以根據訓練過程中的通信模式動態調整網絡資源分配。例如，在模型并行訓練中，不同GPU負責模型的不同部分，它們之間的通信模式是相對固定的。智能調度算法可以識別這些模式，預先建立優化的通信路徑，進一步提高訓練效率。

這就像是每個工作站都配備了智能調度系統，可以根據生產需求自主決定物料的傳輸路徑和優先級。工作站之間可以直接協商，無需中央調度中心的干預，實現更高效、更靈活的生產協作。

3. 運維和可觀測性范式轉變

無交換機架構的興起也將帶來運維和可觀測性范式的轉變。在傳統網絡中，運維人員主要關注交換機的狀態、流量統計和日志分析。而在無交換機架構中，這些關注點將轉移到芯片行為、鏈路健康和端點狀態上。

網絡監控工具將需要適應這種變化，提供更細粒度、更實時的觀測能力。例如，監控每個DPU或SmartNIC的狀態、跟蹤直連鏈路的健康狀況、分析端點間的通信模式等。這些工具需要能夠處理更大規模、更高頻率的監控數據，并提供更智能的分析和異常檢測能力。

數字孿生技術在這一領域將變得更加重要。通過建立網絡的數字孿生模型，運維人員可以實時監控網絡狀態，模擬不同場景下的網絡行為，預測潛在問題，并優化網絡配置。這種技術已經在傳統網絡中有所應用，但在更復雜、更動態的無交換機架構中，其價值將更加凸顯。

在工廠比喻中，這就像是從關注物流系統的運行狀態轉變為關注每個工作站和傳送帶的工作狀態。運維人員不再需要監控中央物流系統的運行情況，而是需要確保每個工作站的調度系統正常運行，每條傳送帶都處于健康狀態，整個生產網絡高效協同。

這種范式轉變將要求網絡運維人員掌握新的技能和工具，更深入地理解計算和網絡的融合，以及如何在這種新型架構中保障系統的可靠性、安全性和性能。

為什么“無交換機”短期仍難實現？

1. 大規模跨芯片通信仍需交換系統

盡管無交換機網絡在理論上具有諸多優勢，但在實際應用中，大規模跨芯片通信仍然離不開交換系統的支持。當前的晶圓級網絡和封裝級網絡雖然在局部范圍內實現了高效互聯，但它們難以大范圍伸展，主要受限于封裝密度和物理距離。

以Cerebras的WSE為例，雖然在單個晶圓內實現了無交換互聯，但當需要多個WSE協同工作時，仍然需要外部網絡連接。同樣，NVIDIA的NVLink/NVSwitch雖然在單個DGX系統內實現了高效互聯，但跨DGX系統的通信仍依賴InfiniBand或以太網等傳統網絡技術。

這種局限性源于物理學基本原理的約束。隨著距離的增加，直接互聯的成本和復雜性呈指數級增長。在當前技術條件下，跨機架、跨數據中心的通信仍然需要傳統交換結構的支持。

在我們的工廠比喻中，這就像是工作站之間的直接傳送帶只適用于近距離傳輸。當需要跨越較大距離或連接大量工作站時，仍然需要中央物流系統的支持。完全取消中央物流系統，用直接傳送帶連接所有工作站，在物理上是不可行的，成本也會過高。

此外，隨著AI模型規模的不斷增長，訓練所需的GPU數量也在增加。當GPU數量達到數萬甚至數十萬時，完全依靠直接互聯已經不再現實。在這種超大規模場景下，分層次的網絡架構仍然是必要的，只是每一層的設計理念和技術實現可能會發生變化。

2. 交換芯片仍是“調度”、“隔離”、“可視性”的基礎設施

交換芯片在網絡中扮演的角色遠不止簡單的數據轉發。它們還承擔著流量調度、網絡隔離和可視性保障等重要功能，這些功能在短期內難以完全由端點設備替代。

在流量調度方面，交換芯片通過復雜的隊列管理和擁塞控制算法，確保網絡資源的公平分配和高效利用。雖然DPU等設備具備一定的網絡處理能力，但它們尚不足以獨立承擔整個網絡的調度職能，特別是在大規模、多租戶的環境中。

網絡隔離是多租戶云環境中的關鍵需求。交換芯片通過VLAN、ACL等技術，實現了不同租戶之間的網絡隔離，保障了數據安全和性能隔離。這些功能如果完全下放到端點設備，將大大增加端點的復雜性和安全風險。

可視性是網絡運維的基礎。傳統交換機提供了豐富的監控和統計功能，幫助運維人員了解網絡狀態、排查問題。如果沒有這些中心化的觀測點，網絡問題的定位和解決將變得更加困難。

交換芯片就像是物流中心的調度系統，不僅負責物料的傳輸，還負責協調不同生產線之間的物料分配，確保生產安全，監控整個物流系統的運行狀態。如果取消這個中心調度系統，僅依靠工作站之間的直接協商，將難以保證整個工廠的高效、安全運行，特別是在大規模、多產品線的復雜環境中。

3. 現有生態深度綁定以太網/IP協議

技術演進不僅受物理限制，還受生態系統的約束。當前的軟件系統、云平臺和應用程序都深度綁定了以太網/IP協議棧，這種綁定構成了無交換機網絡普及的另一個重要障礙。

以太網和IP協議經過數十年的發展，已經形成了完善的標準體系和龐大的生態系統。從網絡設備到操作系統，從應用程序到管理工具，都是基于這些協議設計的。任何試圖替代這些協議的新技術，都將面臨巨大的生態遷移成本。

云平臺和虛擬化技術更是將交換架構作為基礎的“組織框架”。虛擬網絡、軟件定義網絡（SDN）、網絡功能虛擬化（NFV）等技術，都是在傳統交換架構的基礎上構建的。這些技術已經深度整合到現代IT基礎設施中，短期內難以完全替代。

這就像是整個工業體系都已經適應了中央物流+分支配送的模式。從工廠布局到生產流程，從管理系統到員工培訓，都是圍繞這種模式設計的。即使有更先進的物流方式，也需要漫長的過渡期才能完全替代現有模式。

此外，網絡安全、合規性和互操作性等考量也使得企業和云服務提供商難以快速采用革命性的網絡架構。在關鍵業務系統中，穩定性和可靠性往往比性能更重要，這也是傳統網絡架構在企業環境中持續存在的重要原因。

綜上所述，雖然無交換機網絡在特定場景下展現出了巨大潛力，但受限于物理約束、功能需求和生態系統慣性，它在短期內難以完全替代傳統交換架構。更可能的情況是，兩種架構將在相當長的時間內共存，各自在適合的場景中發揮作用，并在技術演進中相互借鑒、融合。

交換機不會“消失”，但角色正被重塑

通過對AI網絡架構演進趨勢的全面分析，我們可以得出一個相對平衡的結論：交換機不會完全“消失”，但其角色正在被重塑。

傳統意義上的交換機作為網絡的中心節點，承擔著數據轉發、路由決策、流量控制等核心功能。而在AI驅動的新型網絡架構中，這些功能正在被重新分配和重新定義。一部分功能下沉到了計算芯片或DPU，一部分功能被集成到了新型互連技術中，還有一部分功能被提升到了軟件定義的控制平面。

這種變化可以概括為從“中心控制”向“邊緣協同”的轉變。在傳統網絡中，交換機是控制中心，決定數據的流向和處理方式。而在新型網絡中，控制邏輯更多地分布在網絡邊緣，各個節點通過協同合作完成網絡功能。

同時，交換機的角色也在從“數據路徑”向“控制中樞”轉變。在傳統網絡中，交換機主要負責數據包的轉發和處理。而在新型網絡中，交換機更多地承擔網絡策略執行、資源調度、安全保障等控制功能，而數據傳輸則更多地通過直接互聯或專用通道完成。

因此，真正的“無交換機”時代，也許不是“沒有交換”，而是“交換無處不在”。交換功能不再集中在特定的物理設備上，而是分布在網絡的各個部分，融入到計算和存儲系統中，形成一個更加融合、更加智能的基礎設施。