摩爾線程首個千卡KUAE智算中心落地

據摩爾線程官網消息，12月19日，摩爾線程首個全國產千卡千億模型訓練平臺——摩爾線程KUAE智算中心揭幕儀式在北京成功舉辦，宣告國內首個以國產全功能GPU為底座的大規模算力集群正式落地。與此同時，摩爾線程聯合國內眾多合作伙伴發起并成立了“摩爾線程PES - KUAE智算聯盟”和“摩爾線程PES - 大模型生態聯盟”，共同夯實從智算基礎設施到大模型訓練與推理的國產大模型一體化生態，持續為我國大模型產業發展加速。

據官方介紹，摩爾線程KUAE智算中心解決方案以全功能GPU為底座，是軟硬一體化的全棧解決方案，包括以KUAE計算集群為核心的基礎設施、KUAE Platform集群管理平臺以及KUAE ModelStudio模型服務，旨在以一體化交付的方式解決大規模GPU算力的建設和運營管理問題。該方案可實現開箱即用，大大降低傳統算力建設、應用開發和運維運營平臺搭建的時間成本，實現快速投放市場開展商業化運營。

摩爾線程KUAE支持包括DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale在內的業界主流分布式框架，并融合了多種并行算法策略，包括數據并行、張量并行、流水線并行和ZeRO，且針對高效通信計算并行和Flash Attention做了額外優化。

目前，摩爾線程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各類主流大模型的訓練和微調。基于摩爾線程KUAE千卡集群，70B到130B參數的大模型訓練，線性加速比均可達到91%，算力利用率基本保持不變。