避開(kāi)與英偉達(dá)競(jìng)爭(zhēng),英特爾將通過(guò)Gaudi 3打造更經(jīng)濟(jì)高效的AI系統(tǒng)
10月18日消息,根據(jù)外媒CRN報(bào)道稱,英特爾已經(jīng)意識(shí)到,在與英偉達(dá)(NVIDIA)在云端AI大模型訓(xùn)練方面競(jìng)爭(zhēng)沒(méi)有優(yōu)勢(shì),因此正通過(guò)Gaudi 3 轉(zhuǎn)向更注重經(jīng)濟(jì)高效的企業(yè)級(jí)和邊緣AI系統(tǒng)領(lǐng)域。
CRN稱,英特爾將旗下最新的Gaudi 3 AI加速器定位為有價(jià)值產(chǎn)品,是市場(chǎng)上最佳性價(jià)比的產(chǎn)品。雖然從性能角度來(lái)看,Gaudi 3 沒(méi)有追上英偉達(dá)最新的GPU,但該芯片也受到了很多企業(yè)的關(guān)注,因?yàn)檫@些企業(yè)需要具有成本效益的 AI 系統(tǒng)進(jìn)行訓(xùn)練,并在更大程度上推理更小的、基于任務(wù)的模型和開(kāi)源模型。
英特爾在上個(gè)月就曾宣布,AI加速器芯片是扭虧為盈的關(guān)鍵產(chǎn)品,Gaudi 3 將于 10 月在戴爾科技和超微電腦的服務(wù)器中首次亮相。預(yù)計(jì)Gaudi 3 將在第四季度晚些時(shí)候全面上市,比英特爾在 4 月份給出的第三季度上市時(shí)間有所延遲。
惠普企業(yè)預(yù)計(jì)將在 12 月推出自己的 Gaudi 3 系統(tǒng)。包括聯(lián)想在內(nèi)的其他 OEM 的廠商可能也將會(huì)推出基于Gaudi 3 的系統(tǒng)。
在云方面,Gaudi 3 將于明年初通過(guò) IBM Cloud 上托管的服務(wù)提供,并且很快將在 Intel Tiber AI Cloud 上提供,Intel Tiber AI Cloud 是英特爾最近更名的云服務(wù),旨在支持商業(yè)應(yīng)用程序。
在最近的一次新聞發(fā)布會(huì)上,英特爾強(qiáng)調(diào)了其圍繞 Gaudi 3 的競(jìng)爭(zhēng)信息,稱與 2022 年首次亮相的英偉達(dá)H100 GPU 相比,它提供了“性價(jià)比優(yōu)勢(shì)”,尤其是在推理方面。
特別是隨著“以推理為中心”的大語(yǔ)言模型(LMM)的推出,英特爾稱Gaudi 3系列性能與英偉達(dá)備受歡迎的H100性能相當(dāng),尤其是在推理工作負(fù)載大幅上升的情況下。根據(jù)英特爾計(jì)算,在80億參數(shù)的Llama 3模型中,Gaudi 3比H100快約9%,性價(jià)比高80%;在Llama 2模型中,Gaudi 3速度要高19%,性價(jià)比差異則高達(dá)2倍,確實(shí)令人印象深刻。
雖然英特爾Gaudi 3在這兩項(xiàng)LLM測(cè)試表現(xiàn)優(yōu)于英偉達(dá)H100和H200,但在FB16和FP8格式的浮點(diǎn)運(yùn)算的測(cè)試中,表現(xiàn)仍不如H100。Gaudi 3 可以針對(duì)每種格式執(zhí)行每秒 1835 萬(wàn)億次浮點(diǎn)運(yùn)算 (TFLOPS),而 H100 的 BF16 可以達(dá)到 1979 TFLOPS,F(xiàn)P8 可以達(dá)到 3958 TFLOPS。
這也表明,英特爾AI芯片在計(jì)算力方面仍然存在不足,更何況英偉達(dá)新一代更強(qiáng)的Blackwell GPU即將上市,還有AMD等人工智能計(jì)算領(lǐng)域的強(qiáng)有力的競(jìng)爭(zhēng)對(duì)手的競(jìng)爭(zhēng)。AMD上漲宣布,其即將推出的 Instinct MI325X GPU 在推理工作負(fù)載方面的性能可以超過(guò)英偉達(dá)的 H200,并誓言其下一代 MI350 芯片將性能提高一個(gè)數(shù)量級(jí)。
因此,英特爾決定不參與主流的AI模型訓(xùn)練市場(chǎng)競(jìng)爭(zhēng),不打算在該領(lǐng)域與英偉達(dá)的GPU正面交鋒。
轉(zhuǎn)換賽道
在接受 CRN 采訪時(shí),英特爾 AI 加速部門負(fù)責(zé)人 Anil Nanduri 表示,到目前為止,圍繞訓(xùn)練 AI 模型的基礎(chǔ)設(shè)施的購(gòu)買決策主要基于性能而不是成本,這一趨勢(shì)在很大程度上使英偉達(dá)受益,它使該公司能夠在 AI 開(kāi)發(fā)人員中建立起強(qiáng)大的生態(tài)。反過(guò)來(lái)看,開(kāi)發(fā)人員對(duì)英偉達(dá)的全套技術(shù)進(jìn)行了大量投資,以構(gòu)建他們的應(yīng)用程序,從而也提高了他們將開(kāi)發(fā)轉(zhuǎn)移到另一個(gè)平臺(tái)的難度和成本。
“如果你在那個(gè)背景下思考,就會(huì)發(fā)現(xiàn)一個(gè)現(xiàn)有的好處,即所有的前沿模型研究、所有功能都是在事實(shí)上的平臺(tái)上開(kāi)發(fā)的,你正在構(gòu)建它,你正在研究它,你本質(zhì)上也在潛意識(shí)中優(yōu)化它。然后使該端口轉(zhuǎn)移到 不同的平臺(tái) 是一項(xiàng)工作。”Nanduri 說(shuō)。
至少目前,像 Meta 和 Microsoft 這樣的超大規(guī)模企業(yè)在超強(qiáng)大的 AI 數(shù)據(jù)中心基礎(chǔ)設(shè)施上投入大量資金以推動(dòng)尖端功能,而無(wú)需立即產(chǎn)生利潤(rùn),這可能是有意義的。例如,據(jù) CNBC 和其他出版物上個(gè)月報(bào)道,OpenAI 今年的收入為 36 億美元,預(yù)計(jì)今年將產(chǎn)生 50 億美元的虧損,其中一部分與服務(wù)有關(guān)。
但許多企業(yè)負(fù)擔(dān)不起此類投資并接受此類損失。Nanduri 稱,他們可能也不需要大規(guī)模的 AI 模型來(lái)回答遠(yuǎn)遠(yuǎn)超出其關(guān)注領(lǐng)域的主題的問(wèn)題。“我們開(kāi)始看到的世界是,人們正在質(zhì)疑 投資回報(bào)、成本、電力和其他一切。但我們認(rèn)為,客戶真的想要一個(gè)無(wú)所不知的巨型模型嗎?”Nanduri 說(shuō)。
Nanduri 認(rèn)為,對(duì)于許多企業(yè)來(lái)說(shuō),答案是否定的,他們會(huì)將選擇更小、基于特定任務(wù)的模型,這些模型具有更輕的性能需求。雖然從正面性能的角度來(lái)看,Gaudi 3 “沒(méi)有趕上”英偉達(dá)的最新 GPU,但加速器芯片非常適合為代表企業(yè)運(yùn)行基于任務(wù)的模型和開(kāi)源模型提供更具經(jīng)濟(jì)效益的系統(tǒng),而這正是英特爾的“傳統(tǒng)優(yōu)勢(shì)”所在。
“對(duì)于我們有很多牢固關(guān)系的企業(yè)來(lái)說(shuō),他們并不是 AI 的第一批快速采用者。他們實(shí)際上對(duì)如何部署都非常深思熟慮。所以我認(rèn)為這就是促使我們?cè)u(píng)估產(chǎn)品市場(chǎng)契合度以及我們的客戶群的原因,我們傳統(tǒng)上在這些領(lǐng)域有著牢固的關(guān)系。”他說(shuō)。
今年年初成為英特爾數(shù)據(jù)中心和人工智能集團(tuán)負(fù)責(zé)人的 前HPE 資深人士賈斯汀·霍塔德 (Justin Hotard) 表示,他和其他領(lǐng)導(dǎo)者在聽(tīng)到企業(yè)客戶想要更經(jīng)濟(jì)的人工智能系統(tǒng)后確定了這一戰(zhàn)略,這有助于讓英特爾相信此類產(chǎn)品可能有很大的市場(chǎng)。
“我們覺(jué)得我們?cè)诋a(chǎn)品方面所處的位置、參與的客戶、我們正在解決的問(wèn)題,這就是我們的賽道。可以肯定的是,市場(chǎng)將在那個(gè)領(lǐng)域開(kāi)放,并且會(huì)有一群人構(gòu)建自己的推理解決方案,”他在新聞發(fā)布會(huì)上回答 CRN 的問(wèn)題時(shí)說(shuō)。
在今年 8 月的一次金融會(huì)議上,英特爾CEO帕特·基辛格也承認(rèn),該公司不會(huì)“很快與高端AI訓(xùn)練競(jìng)爭(zhēng)”,其競(jìng)爭(zhēng)對(duì)手已經(jīng)“遙遙領(lǐng)先”,因此英特爾將押注于企業(yè)和邊緣的 AI 部署。
“如今,70% 的計(jì)算是在云中完成的。80% 以上的數(shù)據(jù)仍保留在本地或由企業(yè)控制。仔細(xì)想想,這是一個(gè)非常鮮明的對(duì)比。因此,任務(wù)關(guān)鍵型業(yè)務(wù)數(shù)據(jù)已經(jīng)到此為止,對(duì) AI 的所有熱情都已到此為止。我會(huì)爭(zhēng)辯說(shuō),過(guò)去 25 年的云數(shù)據(jù)還沒(méi)有轉(zhuǎn)移到云中,我也不認(rèn)為它會(huì)轉(zhuǎn)移到云中,”他在德意志銀行分析師會(huì)議上這樣說(shuō)道。
押注開(kāi)放生態(tài)系統(tǒng)
英特爾還希望通過(guò)跨硬件基礎(chǔ)設(shè)施、軟件平臺(tái)和應(yīng)用程序采用開(kāi)放式生態(tài)系統(tǒng)方法來(lái)幫助 Gaudi 3 贏得客戶。英特爾的高管們表示,這與英偉達(dá)的“圍墻花園”戰(zhàn)略形成鮮明對(duì)比。
英特爾數(shù)據(jù)中心和人工智能事業(yè)部產(chǎn)品管理副總裁 Saurabh Kulkarni表示,客戶和合作伙伴可以選擇將 Gaudi 3 從一個(gè)具有 8 個(gè)加速器芯片的系統(tǒng)擴(kuò)展到一個(gè)具有 8000 多個(gè)芯片的 1024 節(jié)點(diǎn)集群,中間有多個(gè)配置選項(xiàng),所有這些都意味著不同的性能水平。
他說(shuō),為了實(shí)現(xiàn)硬件生態(tài)系統(tǒng),英特爾正在通過(guò)為 OEM 提供參考架構(gòu)和設(shè)計(jì)來(lái)降低使用門檻,“然后可以將其用作我們的客戶以模塊化方式復(fù)制和構(gòu)建基礎(chǔ)設(shè)施的藍(lán)圖”。
這些參考架構(gòu)將由各種開(kāi)放標(biāo)準(zhǔn)提供支持,從用于連接的以太網(wǎng)和 PCIe 到用于分布式存儲(chǔ)的 DAOS 和用于編程的 SYCL,英特爾表示這有助于防止供應(yīng)商鎖定。
在軟件方面,英特爾高管 Bill Pearson 表示,該公司的開(kāi)放方法意味著合作伙伴和客戶可以從不同供應(yīng)商的各種工具中進(jìn)行選擇,以滿足 AI 系統(tǒng)的各種軟件需求。他將此與英偉達(dá)的方法進(jìn)行了對(duì)比,后者創(chuàng)建了許多僅適用于英偉達(dá)自己GPU的工具。
“我們不是創(chuàng)建客戶或開(kāi)發(fā)人員可能需要的所有工具,而是依靠我們的生態(tài)系統(tǒng)合作伙伴來(lái)做到這一點(diǎn)。我們與他們合作,然后幫助客戶選擇對(duì)他們的特定企業(yè)有意義的產(chǎn)品。”英特爾數(shù)據(jù)中心和 AI 集團(tuán)軟件副總裁 Pearson 說(shuō)。
這種開(kāi)放式生態(tài)系統(tǒng)軟件方法的一個(gè)關(guān)鍵方面是企業(yè) AI 開(kāi)放平臺(tái) (OPEA),該組織于今年早些時(shí)候在 Linux 基金會(huì)下成立,旨在作為可用于 AI 系統(tǒng)的微服務(wù)的基礎(chǔ)。該小組的成員包括 AMD、英特爾 和 Rivos 等芯片公司,以及各種軟件提供商,包括 VMware 和 Red Hat 等虛擬化提供商,以及 Domino、Clarifai 和 Intel 支持的 Articul8 等 AI 和機(jī)器學(xué)習(xí)平臺(tái)。
“當(dāng)我們研究如何利用這些微服務(wù)實(shí)施解決方案時(shí),堆棧的每個(gè)組件都有多個(gè)產(chǎn)品/服務(wù),因此您需要非常具體地說(shuō)明什么最適合您的產(chǎn)品/服務(wù)。你有偏好嗎?它是采購(gòu)協(xié)議嗎?這是技術(shù)偏好嗎?有關(guān)系偏好嗎?”
“然后客戶可以選擇對(duì)他們的業(yè)務(wù)有意義的部分、組件和成分。對(duì)我來(lái)說(shuō),這是我們開(kāi)放式生態(tài)系統(tǒng)最好的一點(diǎn),就是我們不會(huì)把答案交給你。相反,我們?yōu)槟峁┕ぞ撸屇x擇最佳答案,“他補(bǔ)充道。
英特爾面向 AI 系統(tǒng)的軟件方法的關(guān)鍵是專注于檢索增強(qiáng)生成 (RAG),它允許 LLM 對(duì)專有企業(yè)數(shù)據(jù)執(zhí)行查詢,而無(wú)需微調(diào)或重新訓(xùn)練這些模型。
“這最終使組織能夠更快、更經(jīng)濟(jì)高效地定制和啟動(dòng) GenAI 應(yīng)用程序,”Pearson 說(shuō)。
為了幫助客戶設(shè)置基于 RAG 的 AI 應(yīng)用程序,英特爾計(jì)劃在今年晚些時(shí)候推出面向企業(yè) RAG 的英特爾 AI,這是由英特爾和第三方開(kāi)發(fā)的解決方案目錄,將于今年年底前首次亮相。這些解決方案適用于從代碼生成和代碼轉(zhuǎn)換到內(nèi)容摘要和問(wèn)答等各種使用案例。
Pearson 表示,英特爾“具有獨(dú)特的優(yōu)勢(shì)”,可以利用英特爾和合作伙伴開(kāi)發(fā)的技術(shù)解決企業(yè)在部署基于 RAG 的人工智能基礎(chǔ)設(shè)施時(shí)面臨的挑戰(zhàn),這些技術(shù)從配備 OEM 的 Gaudi 和 Xeon 芯片的經(jīng)過(guò)驗(yàn)證的服務(wù)器開(kāi)始,包括軟件優(yōu)化、矢量數(shù)據(jù)庫(kù)和嵌入模型、管理和編排軟件、OPEA 微服務(wù)和 RAG 軟件。
“所有這些都使企業(yè)客戶能夠輕松實(shí)施基于英特爾 AI for Enterprise RAG 的解決方案,”他說(shuō)。
渠道將成為 Gaudi 3 勝出的“關(guān)鍵”
在上周接受 CRN 采訪時(shí),英特爾公司副總裁兼美洲銷售組織和全球客戶總經(jīng)理 Greg Ernst 表示,渠道合作伙伴對(duì)于將基于 Gaudi 3 的系統(tǒng)送到客戶手中至關(guān)重要。
Ernst 表示,為了讓英特爾達(dá)到這一點(diǎn),這家芯片制造商需要 Gaudi 3 獲得服務(wù)器供應(yīng)商的廣泛支持,“像 World Wide Technology 這樣的合作伙伴可以真正團(tuán)結(jié)起來(lái)”。他補(bǔ)充說(shuō),英特爾”與合作伙伴一起在如何銷售產(chǎn)品和實(shí)施產(chǎn)品支持方面做了大量學(xué)習(xí)”。
“現(xiàn)在我們已經(jīng)為規(guī)模化做好了準(zhǔn)備,合作伙伴將成為其中的關(guān)鍵,”他說(shuō)。
IBM Cloud 產(chǎn)品和行業(yè)平臺(tái)總經(jīng)理 Rohit Badlaney 告訴 CRN,該公司的“構(gòu)建”獨(dú)立軟件供應(yīng)商 (ISV) 合作伙伴、增值分銷商和全球系統(tǒng)集成商是 IBM 計(jì)劃銷售基于 Gaudi 3 的云服務(wù)的三種主要方式,這些服務(wù)將主要圍繞其 Watson AI 平臺(tái)。
“我們有一個(gè)完整的銷售生態(tài)系統(tǒng)團(tuán)隊(duì),他們將專注于構(gòu)建 ISV,包括嵌入和構(gòu)建我們的 Watson 平臺(tái),現(xiàn)在我們的 Red Hat 開(kāi)發(fā)人員堆棧正在進(jìn)行同樣的努力,”他在上個(gè)月的英特爾新聞發(fā)布會(huì)上說(shuō)。
Badlaney 表示,IBM Cloud 已經(jīng)測(cè)試了英特爾對(duì) Gaudi 3 的“性價(jià)比優(yōu)勢(shì)”聲明,并對(duì)他們的發(fā)現(xiàn)印象深刻。
“當(dāng)我們查看 Gaudi 3 的功能時(shí),特別是我們的 watsonx 數(shù)據(jù)和 AI 平臺(tái),從成本效益的角度來(lái)看,它在我們的測(cè)試中確實(shí)與眾不同。因此,我們將將其應(yīng)用于的第一組用例是圍繞我們自己的品牌模型和我們看到的其他一些模型進(jìn)行推理,“他說(shuō)。
戴爾企業(yè)戰(zhàn)略高級(jí)副總裁 Vivek Mohindra 表示,通過(guò)將 Gaudi 3 納入其 PowerEdge XE9680 產(chǎn)品組合,他的公司為合作伙伴和客戶提供了替代采用英特爾競(jìng)爭(zhēng)對(duì)手加速器芯片的系統(tǒng)的機(jī)會(huì)。他補(bǔ)充說(shuō),戴爾用于管理高性能計(jì)算和 AI 工作負(fù)載的 Omnia 軟件與 OPEA 微服務(wù)配合良好,為企業(yè)提供了一個(gè)部署新基礎(chǔ)設(shè)施的“簡(jiǎn)單按鈕”。
他在英特爾的新聞發(fā)布會(huì)上說(shuō):“它也為客戶提供了一個(gè)選擇,然后在軟件上,我們的 Omnia 堆棧可以與 [英特爾的] OPA 互操作,這為客戶提供了相對(duì)容易地采用和擴(kuò)展它的巨大能力。”
總部位于伊利諾伊州諾斯布魯克的系統(tǒng)集成商 International Computer Concepts 的首席技術(shù)官 Alexey Stolyar 告訴 CRN,他的公司開(kāi)始圍繞 Gaudi 3 進(jìn)行高級(jí)培訓(xùn)課程,他可以看到需要由此類芯片實(shí)現(xiàn)經(jīng)濟(jì)高效的 AI 系統(tǒng),這主要是因?yàn)橛?xùn)練或微調(diào)大型模型需要多少功率。
“你會(huì)發(fā)現(xiàn),世界上很多地方都將關(guān)注比這些巨大的模型更小、更高效、更精確的模型。大型企業(yè)擅長(zhǎng)一般任務(wù),但不擅長(zhǎng)非常具體的任務(wù)。企業(yè)將開(kāi)始開(kāi)發(fā)自己的模型或微調(diào)特定的開(kāi)源模型,但它們將變得更小,效率更高,“他說(shuō)。
Stolyar 說(shuō),雖然 International Computer Concepts 尚未開(kāi)始主動(dòng)與客戶討論 Gaudi 3 系統(tǒng),但一位客戶已經(jīng)與他的公司接洽,為客戶計(jì)劃針對(duì)特定工作負(fù)載銷售的交鑰匙設(shè)備開(kāi)發(fā) Gaudi 3 系統(tǒng),因?yàn)榛鶞?zhǔn)測(cè)試表明該芯片表現(xiàn)良好。
然而,這位解決方案提供商高管也指出,他不確定 Gaudi 3 代表著多大的機(jī)會(huì),并補(bǔ)充說(shuō),英特爾的成功將在很大程度上取決于 Gaudi 3 系統(tǒng)相對(duì)于由英偉達(dá)芯片和軟件提供支持的系統(tǒng)易用性。
“我認(rèn)為客戶想要其他選擇。我認(rèn)為擁有良好的競(jìng)爭(zhēng)是好的,但在這種易用性出現(xiàn)之前,它不會(huì)發(fā)生。英偉達(dá)已經(jīng)這樣做了一段時(shí)間。他們一直在那個(gè)生態(tài)系統(tǒng)中微調(diào)他們的軟件包等,“他說(shuō)。
一家解決方案提供商的一位高級(jí)領(lǐng)導(dǎo)告訴 CRN,他的公司與英特爾代表的對(duì)話給他的印象是,這家芯片制造商并不尋求與英偉達(dá)正面交鋒,而是希望贏得 AI 市場(chǎng)的一定“百分比”。
“他們一直在談?wù)?Gaudi 3 很長(zhǎng)一段時(shí)間:嘿,這將是我們的目標(biāo)。我們要競(jìng)爭(zhēng)。但我認(rèn)為他們也帶著一些溫和的期望進(jìn)來(lái)。比如,讓我們?cè)谶@個(gè)市場(chǎng)中競(jìng)爭(zhēng)。我們本身不會(huì)與英偉達(dá)正面交鋒,但我們可以解決其中的一些問(wèn)題并為客戶提供選擇。讓我們挑選出五個(gè)客戶,去和他們談?wù)劊边@位不愿透露姓名的高管說(shuō),他要求坦率地談?wù)撍c英特爾的合作。
這位解決方案提供商負(fù)責(zé)人表示,他確實(shí)認(rèn)為像由 Gaudi 3 提供支持的具有成本效益的 AI 系統(tǒng)可能會(huì)有市場(chǎng),因?yàn)樗麖目蛻裟抢锫?tīng)說(shuō),他們?cè)絹?lái)越意識(shí)到高昂的 AI 基礎(chǔ)設(shè)施成本。
“從某種程度上講,當(dāng)你采取這種方法時(shí),你承認(rèn)別人已經(jīng)贏了。但如果它做到了別人沒(méi)有做到的這些事情(高性價(jià)比),你不考慮它就是個(gè)傻瓜,因?yàn)樗鼤?huì)為你節(jié)省金錢、電力和其他一切。但這不是一種接管世界的策略,“他說(shuō)。
編輯:芯智訊-浪客劍 來(lái)源:CRN
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。