開源大語言模型 文章 進入開源大語言模型技術(shù)社區(qū)

xAI宣布開源大語言模型Grok-1并開放下載

• 3月18日消息，美國當(dāng)?shù)貢r間周日，埃隆·馬斯克（Elon Musk）旗下的人工智能初創(chuàng)企業(yè)xAI宣布，其大語言模型Grok-1已實現(xiàn)開源，并向公眾開放下載。感興趣的用戶可通過訪問GitHub頁面github.com/xai-org/grok來使用該模型。xAI介紹稱，Grok-1是一款基于混合專家系統(tǒng)（Mixture-of-Experts，MoE）技術(shù)構(gòu)建的大語言模型，擁有3140億參數(shù)。近期，公司發(fā)布了Grok-1的基本模型權(quán)重和網(wǎng)絡(luò)架構(gòu)詳情。該公司表示，Grok-1始終由xAI自行訓(xùn)練，其預(yù)訓(xùn)練階段于
• 關(guān)鍵字： xAI  開源大語言模型  Grok-1