小米正搭建GPU萬卡集群，將對AI大模型大力投入

12月26日，記者獲悉，小米正在著手搭建自己的GPU萬卡集群，將對AI大模型大力投入。小米大模型團(tuán)隊(duì)在成立時已有6500張GPU資源。 

一名知情人士對記者表示，該計(jì)劃已經(jīng)施行數(shù)月之久，雷軍在其中扮演了重要的領(lǐng)導(dǎo)角色。“在AI硬件這件事情上，最核心的是手機(jī)而不是眼鏡，小米在這個領(lǐng)域不‘a(chǎn)ll in’是不可能的。”

小米對AI大模型的重視度提升此前已有信號。12月20日，據(jù)第一財(cái)經(jīng)報(bào)道，DeepSeek開源大模型DeepSeek-V2的關(guān)鍵開發(fā)者之一羅福莉?qū)⒓尤胄∶祝蚬┞氂谛∶譇I實(shí)驗(yàn)室，領(lǐng)導(dǎo)小米大模型團(tuán)隊(duì)。

此前DeepSeekV2在模型架構(gòu)上的重要創(chuàng)新在于對MLA（Multi-head Latent Attention）的采用，這項(xiàng)技術(shù)在降低大模型使用成本上發(fā)揮了關(guān)鍵作用，而羅福莉是這項(xiàng)工作的核心人物之一。

2023年4月，小米AI實(shí)驗(yàn)室大模型團(tuán)隊(duì)正式組建，任命欒劍擔(dān)任大模型團(tuán)隊(duì)負(fù)責(zé)人，向小米技術(shù)委員會副主席、AI實(shí)驗(yàn)室主任王斌匯報(bào)。

欒劍此前為AI實(shí)驗(yàn)室語音生成團(tuán)隊(duì)的負(fù)責(zé)人，曾任東芝（中國）研究院研究員、微軟（中國）工程院高級語音科學(xué)家、微軟小冰首席語音科學(xué)家及語音團(tuán)隊(duì)負(fù)責(zé)人等職位。 

同一時間，雷軍發(fā)文談?wù)搶Υ竽Ｐ秃虯IGC的看法時表示，小米在AI領(lǐng)域已經(jīng)耕耘多年，有AI實(shí)驗(yàn)室、小愛同學(xué)、自動駕駛等團(tuán)隊(duì)。“對于大模型，我們當(dāng)然會全力以赴，堅(jiān)決擁抱。我們正在研發(fā)一些有趣的技術(shù)和產(chǎn)品，等我們打磨好了，再給大家展示。”

隨后，在小米2023周年演講上，雷軍再度談及公司大模型業(yè)務(wù)進(jìn)展。 

他稱團(tuán)隊(duì)成立之后，小米大模型技術(shù)的主力突破方向?yàn)檩p量化、本地部署。作為最新成果，小米已初步跑通手機(jī)端側(cè)大模型（13億參數(shù)級別），在部分場景效果接近云端60億參數(shù)級別的大模型，將同步推送升級大模型版本的小愛同學(xué)。

彼時，小米有MiLM-6B/1.3B兩個參數(shù)級別模型。王斌在接受界面新聞等媒體采訪時強(qiáng)調(diào)，包括數(shù)據(jù)、算法等在內(nèi)，小米所訓(xùn)練的模型都是從零開始，但團(tuán)隊(duì)也不反對第三方大模型，將以開放態(tài)度堅(jiān)持自研與第三方合作相結(jié)合，來推動其大模型發(fā)展。

值得注意的是，小愛同學(xué)首次升級時的大模型版本就采用了第三方和自研的混合方案。

公開資料顯示，自2016年組建AI團(tuán)隊(duì)以來，小米人工智能團(tuán)隊(duì)經(jīng)過7年6次擴(kuò)展，相關(guān)領(lǐng)域人員規(guī)模已達(dá)3000多人，其AI技術(shù)能力已覆蓋視覺、聲學(xué)、語音、NLP、知識圖譜、機(jī)器學(xué)習(xí)、大模型、多模態(tài)方向，并逐步接入手機(jī)、汽車、AIoT、機(jī)器人等業(yè)務(wù)板塊。