英特爾至強和AI PC等產品為Meta Llama 3生成式AI工作負載提供加速

Meta今日推出其下一代大語言模型（LLM）——Meta Llama 3。在發布的第一時間，英特爾即優化并驗證了80億和700億參數的Llama 3模型能夠在英特爾^?至強^?處理器、英特爾^? Gaudi加速器、英特爾^? 酷睿? Ultra處理器和英特爾銳炫? 顯卡的AI產品組合上運行。

英特爾副總裁兼人工智能軟件工程總經理李煒表示：“英特爾一直積極與AI軟件生態系統的領先企業展開合作，致力于提供兼具性能與易用性的解決方案。Meta Llama 3是AI大語言模型重要迭代的新一浪潮。作為AI軟硬件產品技術創新的引領者，英特爾很開心能夠與Meta合作，充分挖掘諸如Llama 3等模型的潛力，助力生態伙伴開發領先的AI應用。”

重要意義：秉承推動AI無處不在的愿景，英特爾持續深耕軟件和AI生態，以確保其產品能夠滿足AI領域持續變化的創新需求。在數據中心，集成英特爾^?高級矩陣擴展加速引擎（Intel^? AMX）的英特爾至強處理器和英特爾Gaudi能夠為滿足客戶不斷變化、多元化的需求提供更多選擇。

英特爾酷睿Ultra處理器和英特爾銳炫顯卡不僅為開發者提供了本地開發工具，也為在數百萬臺設備上進行部署提供全面的軟件框架和工具支持。其中，包括PyTorch和用于本地研發的英特爾? PyTorch擴展包，以及用于模型開發和推理的OpenVINO?工具包等。

在英特爾產品上運行Llama 3：英特爾初步測試和評估80億和700億參數的Llama 3模型在自身產品上的性能時，使用了包括PyTorch、DeepSpeed、英特爾Optimum Habana庫和英特爾PyTorch擴展包在內的開源軟件，并提供最新的軟件優化。

●   英特爾至強處理器能夠運行嚴苛的端到端AI工作負載，同時為了降低延遲，英特爾也通過技術創新來優化大語言模型的推理性能。配備性能核的英特爾^? 至強^? 6處理器（代號Granite Rapids）在運行80億參數的Llama 3模型推理時，延遲比第四代英特爾^? 至強^? 處理器表現出兩倍的提升，并且能夠以低于100毫秒的token延遲運行700億參數的Llama 3模型推理。

●   英特爾^? Gaudi 2加速器在70億、130億和700億參數的Llama 2模型上具備優化的性能，現在其基于全新的Llama 3模型也有了初步性能測試。隨著英特爾Gaudi軟件的更新，英特爾能夠輕松運行新的Llama 3模型，并為推理和微調生成結果。近期發布的英特爾^? Gaudi 3加速器也支持運行Llama 3。

●   英特爾酷睿Ultra和英特爾銳炫顯卡在運行Llama 3時亦展現出卓越的性能。在初步測試中，英特爾酷睿Ultra處理器已經展現出遠高于人類通常閱讀速度的輸出生成性能。此外，英特爾銳炫? A770 顯卡具備Xe內核中的全新矩陣引擎（Xe Matrix eXtensions，XMX）AI加速和16GB顯存，進一步為大語言模型工作負載提供卓越性能。

未來，Meta將增加新的能力、更多模型尺寸以及增強的性能。英特爾也將持續提升自身AI產品性能，以支持這一全新的大語言模型。