新聞中心

        EEPW首頁 > 智能計算 > 設計應用 > 英特爾至強和AI PC等產品為Meta Llama 3生成式AI工作負載提供加速

        英特爾至強和AI PC等產品為Meta Llama 3生成式AI工作負載提供加速

        —— 英特爾豐富的AI產品——面向數據中心的至強處理器,邊緣處理器及AI PC等產品為開發者提供最新的優化,助力其運行Meta新一代大語言模型Meta Llama 3。
        作者: 時間:2024-04-22 來源:EEPW 收藏

        Meta今日推出其下一代大語言模型(LLM)——Meta Llama 3。在發布的第一時間,英特爾即優化并驗證了80億和700億參數的Llama 3模型能夠在英特爾?至強?處理器、英特爾? Gaudi加速器、英特爾? 酷睿? Ultra處理器和英特爾銳炫? 顯卡的AI產品組合上運行。

        本文引用地址:http://www.104case.com/article/202404/457894.htm

        英特爾副總裁兼人工智能軟件工程總經理李煒表示:“英特爾一直積極與AI軟件生態系統的領先企業展開合作,致力于提供兼具性能與易用性的解決方案。Meta Llama 3是AI大語言模型重要迭代的新一浪潮。作為AI軟硬件產品技術創新的引領者,英特爾很開心能夠與Meta合作,充分挖掘諸如Llama 3等模型的潛力,助力生態伙伴開發領先的AI應用。”

        重要意義:秉承推動AI無處不在的愿景,英特爾持續深耕軟件和AI生態,以確保其產品能夠滿足AI領域持續變化的創新需求。在數據中心,集成英特爾?高級矩陣擴展加速引擎(Intel? AMX)的英特爾至強處理器和英特爾Gaudi能夠為滿足客戶不斷變化、多元化的需求提供更多選擇。

        英特爾酷睿Ultra處理器和英特爾銳炫顯卡不僅為開發者提供了本地開發工具,也為在數百萬臺設備上進行部署提供全面的軟件框架和工具支持。其中,包括PyTorch和用于本地研發的英特爾? PyTorch擴展包,以及用于模型開發和推理的OpenVINO?工具包等。

        在英特爾產品上運行Llama 3:英特爾初步測試和評估80億和700億參數的Llama 3模型在自身產品上的性能時,使用了包括PyTorch、DeepSpeed、英特爾Optimum Habana庫和英特爾PyTorch擴展包在內的開源軟件,并提供最新的軟件優化。

        ●   英特爾至強處理器能夠運行嚴苛的端到端AI工作負載,同時為了降低延遲,英特爾也通過技術創新來優化大語言模型的推理性能。配備性能核的英特爾? 至強? 6處理器(代號Granite Rapids)在運行80億參數的Llama 3模型推理時,延遲比第四代英特爾? 至強? 處理器表現出兩倍的提升,并且能夠以低于100毫秒的token延遲運行700億參數的Llama 3模型推理。

        ●   英特爾? Gaudi 2加速器在70億、130億和700億參數的Llama 2模型上具備優化的性能,現在其基于全新的Llama 3模型也有了初步性能測試。隨著英特爾Gaudi軟件的更新,英特爾能夠輕松運行新的Llama 3模型,并為推理和微調生成結果。近期發布的英特爾? Gaudi 3加速器也支持運行Llama 3。

        ●   英特爾酷睿Ultra和英特爾銳炫顯卡在運行Llama 3時亦展現出卓越的性能。在初步測試中,英特爾酷睿Ultra處理器已經展現出遠高于人類通常閱讀速度的輸出生成性能。此外,英特爾銳炫? A770 顯卡具備Xe內核中的全新矩陣引擎(Xe Matrix eXtensions,XMX)AI加速和16GB顯存,進一步為大語言模型工作負載提供卓越性能。

        未來,Meta將增加新的能力、更多模型尺寸以及增強的性能。英特爾也將持續提升自身AI產品性能,以支持這一全新的大語言模型。



        關鍵詞:

        評論


        相關推薦

        技術專區

        關閉
        主站蜘蛛池模板: 肃北| 金湖县| 改则县| 玉屏| 普兰县| 栾川县| 木里| 三明市| 鹿邑县| 新竹县| 平原县| 宁陵县| 达孜县| 腾冲县| 清镇市| 阳信县| 通许县| 林西县| 巴彦县| 海淀区| 聂荣县| 原阳县| 赤城县| 天镇县| 黄龙县| 海门市| 阳泉市| 潜江市| 天祝| 蚌埠市| 喀喇| 五华县| 阿巴嘎旗| 时尚| 邵武市| 揭阳市| 泸州市| 晋宁县| 关岭| 外汇| 沙湾县|