跨多個數據中心和 GPU 架構訓練生成式 AI 模型

一位行業分析師最近透露，中國已經開發了跨多個數據中心的單一生成式 AI （GAI） 模型，考慮到在單個數據中心使用不同 GPU 的復雜性，更不用說在多個地理位置使用服務器了，這是一項巨大的壯舉。Moor Insights & Strategy的首席分析師Patrick Moorhead在X（前Twitter）上表示，中國是第一個實現這一成就的國家，他是在一次可能無關的NDA會議的對話中發現的。

這種在不同地點/架構中訓練 GAI 的技術對于中國保持其 AI 夢想向前發展至關重要，尤其是在美國制裁阻止其獲得最新、最強大的芯片來推動其研發的情況下。由于英偉達不想失去中國市場，因此它制造了功能較弱的 H20 AI 芯片，這些芯片屬于華盛頓的限制性性能參數。然而，有傳言稱，即使是這些降級的芯片也可能很快被禁止，這凸顯了中國科技公司在當前政治氣候下面臨的不確定性。

由于這種不確定性，中國研究人員一直在努力將不同品牌的 GPU 融合到一個訓練集群中。通過這樣做，這些機構可以將他們有限的受制裁高端、高性能芯片（如 Nvidia A100）庫存與功能較弱但現成的 GPU（如華為的 Ascend 910B 或上述 Nvidia H20）相結合。這項技術可以幫助他們解決中國高端 GPU 短缺的問題，盡管歷史上效率會大幅下降。

然而，中國似乎已經找到了解決這個問題的方法，尤其是跨多個數據中心開發單一 GAI 的消息。雖然我們還沒有關于這個 GAI 的任何信息，但它顯示了中國研究人員將不遺余力，以確保他們能夠繼續推動中國的 AI 雄心向前發展。正如華為所說，盡管受到美國的制裁，中國將想方設法繼續推進其人工智能發展。畢竟，需求是發明之母。