Arm計算平臺加持，全新Llama 3.2 LLM實現(xiàn)AI 推理的全面加速和擴展

新聞重點：

●   在Arm CPU上運行Meta最新Llama 3.2版本，其云端到邊緣側(cè)的性能均得到顯著提升，這為未來AI工作負載提供了強大支持

●   Meta與Arm的合作加快了用例的創(chuàng)新速度，例如個性化的端側(cè)推薦以及日常任務自動化等

●   Arm十年來始終積極投資AI領域，并廣泛開展開源合作，為 1B 至 90B 的 LLM 實現(xiàn)在 Arm 計算平臺上無縫運行

人工智能 (AI) 的迅猛發(fā)展意味著大語言模型 (LLM) 的新版本不斷推陳出新。要充分發(fā)揮 AI 的潛力并抓住其帶來的機遇，需要實現(xiàn) LLM 從云端到邊緣側(cè)的廣泛部署，而這也伴隨著對計算和能源需求的大幅增長。整個生態(tài)系統(tǒng)正攜手尋找應對這一挑戰(zhàn)的解決方案，不斷推出新的更加高效的開源 LLM，以便大規(guī)模實現(xiàn)各種 AI 推理工作負載，加快為用戶帶來全新、快速的 AI 體驗。

為此，Arm與Meta 展開緊密合作，在 Arm CPU 上啟用新的Llama 3.2 LLM，集成開源創(chuàng)新與 Arm 計算平臺的優(yōu)勢，顯著推進了解決AI挑戰(zhàn)的進程。得益于Arm 的持續(xù)投資及與新型LLM 的合作， Arm CPU運行 AI 的優(yōu)勢在生態(tài)系統(tǒng)中脫穎而出，使Arm成為 AI 推理開發(fā)者的首選平臺。

加速云到邊緣側(cè)的AI性能

小型 LLM（如 Llama 3.2 1B 和 3B）能夠支持基于文本的基礎生成式 AI 工作負載，對于大規(guī)模 AI 推理的實現(xiàn)至關重要。通過 Arm CPU 優(yōu)化內(nèi)核在 Arm 技術驅(qū)動的移動設備上運行新的 Llama 3.2 3B LLM，可讓提示詞處理速度提高五倍，詞元 (token) 生成速度提高三倍，在生成階段實現(xiàn)每秒 19.92 個詞元。這將直接減少了在設備上處理 AI 工作負載的延遲，大大提升了用戶整體體驗。此外，當邊緣側(cè)能處理的 AI 工作負載越多，往返云端傳輸數(shù)據(jù)所節(jié)省的電量就越多，進而節(jié)省了能源和成本。

除了在邊緣側(cè)運行小型模型，Arm CPU同樣支持在云端運行更大的模型（如 Llama 3.2 11B 和 90B）。11B 和 90B 的模型非常適合云端基于 CPU 的推理工作負載，可生成文本和圖像，其中，在 Arm Neoverse V2 上的測試結(jié)果展現(xiàn)出了更大的性能提升。在基于 Arm 架構的 AWS Graviton4 上運行 11B 的圖像和文本模型，可以在生成階段實現(xiàn)每秒 29.3 個詞元的表現(xiàn)，遠遠超出了人類大約每秒閱讀五個詞元的速度。

AI將通過開源創(chuàng)新和生態(tài)系統(tǒng)協(xié)作迅速擴展

能公開獲取新的 LLMs（如Llama 3.2）至關重要。開源創(chuàng)新正以迅猛速度發(fā)展，在之前的版本中，開源社區(qū)在不到 24 小時的時間內(nèi)便能在 Arm 上部署并運行新的 LLM。

Arm將通過 Arm Kleidi 進一步支持軟件社區(qū)，讓整個 AI 技術棧能夠充分發(fā)揮這一優(yōu)化的 CPU 性能。Kleidi 可在任何 AI 框架上解鎖 Arm Cortex 和 Neoverse CPU 的 AI 功能和性能，無需應用程序開發(fā)者進行額外的集成工作。

通過最近的 Kleidi 與 PyTorch 集成以及正在推進的與 ExecuTorch 集成，Arm正在為基于 Arm CPU的開發(fā)者提供從云端到邊緣側(cè)的無縫 AI 性能。得益于Kleidi 與 PyTorch 的集成，在基于 Arm 架構的 AWS Graviton 處理器上運行 Llama 3 LLM 的詞元首次響應時間加快了 2.5 倍。

同時，在端側(cè)，與參考實現(xiàn)相比，在 KleidiAI 庫的加持下，使用 llama.cpp庫在新的 Arm Cortex-X925 CPU 上運行 Llama 3 的詞元首次響應時間加快了 190%。

構建AI的未來

Arm與Meta的合作成為了行業(yè)合作的新標桿，匯聚了Arm計算平臺的靈活性、普及性和AI功能，以及Meta等行業(yè)巨頭的技術專長，共同解鎖AI廣泛應用的新機遇。無論是利用端側(cè)LLM滿足用戶的個性化需求，如根據(jù)用戶所處的位置、日程和偏好來執(zhí)行任務，還是通過企業(yè)級應用來優(yōu)化工作效率，讓用戶能夠更專注于戰(zhàn)略性任務，Arm 技術的集成都為未來奠定了基礎。未來，設備不再只是命令和控制工具，更是能在提升用戶整體體驗方面扮演積極的作用。

在 Arm CPU 上運行 Meta 最新 Llama 3.2 版本，其AI 性能實現(xiàn)了顯著提升。這類開放式合作是實現(xiàn)無處不在的 AI 創(chuàng)新、促進 AI 可持續(xù)發(fā)展的最佳途徑。通過新的 LLM、開源社區(qū)和 Arm 的計算平臺，Arm 正在構建 AI 的未來， 到 2025 年，將有 1000 多億臺基于 Arm 架構的設備支持 AI。