英特爾高宇：英特爾助力AI端側運行，擁抱AIGC時代！

很多人都在歡呼AI時代的到來，但其實AI這個概念早在20世紀50年代就誕生了，而且一直都在高速發(fā)展和演化，并不是什么新鮮事物。

只不過，幾十年來，AI一直都基本停留在專業(yè)領域或者特定行業(yè)，距離普通用戶比較遙遠，一般人很難真切感受到AI的力量。

ChatGPT最大的功勞，恰恰是將AI——確切地說是生成式 AI(AIGC)——帶到了普通人的生活中。

有了ChatGPT和類似的應用，任何人只需一部普通的電腦或者手機，就能感受到AI給我們工作生活、娛樂休閑所帶來的種種便利——一問一答就能獲得自己想要的問題答案、幾分鐘就能完成一份漂亮的PPT……

另一方面，雖然這個時候幾乎人人都在談論AI，從跨國大企業(yè)到初創(chuàng)小公司似乎一夜之間都在完全圍著AI做事，但是正如巴菲特的那句名言：“只有退潮了，才知道誰在裸泳。”也只有經歷最初的喧囂，才能看出誰才是認真做AI，誰才真正有實力做好AI。

近日，Intel舉辦了一場年度技術創(chuàng)新大會，AI自然是關鍵詞中的關鍵詞，“AI Everywhere”不僅體現在整個大會上，也體現在Intel的全線產品和解決方案中，這個話題我們之前也從不同角度探討過很多次。

當然，作為軟硬件實力都在這個星球上屬于頂級行列的Intel，自然也是最有資格談論AI的巨頭之一。

正如剛才所說，AI無處不在，從產品到技術再到應用都有截然不同的豐富場景，普通用戶能夠最直接感受到的當屬AIGC，包括文生文、文生圖、圖生圖、文生視頻、圖生視頻等等。

而要想實現足夠實用的AIGC，從算力強大的硬件到參數豐富的大模型，從精確合理的算法到高效便捷的應用，缺一不可。

我們知道，在過去，AIGC更多在云側服務器上，雖然性能、模型、算法都不是問題，但一則需要大量的資金投入，二則存在延遲、隱私等方面的不足。

因此，AIGC正越來越多地下沉到終端側，讓普通的PC電腦、智能手機也能跑AIGC，甚至可以離線執(zhí)行。

Intel中國技術部總經理高宇先生在接受采訪時就表示，關于終端側運行AIGC的研究已經取得了豐碩的成果，比如最新的13代酷睿電腦，經國有化已經可以流暢運行70億到180億參數的大模型，尤其是70億到130億參數的運行效果相當好。

當然這些現在還處于起步階段，目前的優(yōu)化主要針對CPU處理器，下一步會充分發(fā)揮GPU核顯的性能潛力，而代號Meteor Lake的下一代酷睿Ultra除了有更強的CPU、GPU算力，還會首次集成NPU單元，一個專用的AI加速器，峰值算力超過11TOPS，三者結合可以達到更好的效果。

對于PC端側運行AIGC應用的具體落地實現，高宇舉了個例子，Intel正在打造的一個開源框架BigDL-LLM，專門針對Intel硬件的低比特量化設計，支持INT3、INT4、INT5、INT8等各種低比特數據精度，性能更好，內存占用更少。

基于這個框架，使用i9-12900K處理器，只開啟4個核心來運行ChatGLM2 60億參數模型，生成效果就是相當迅速的，而打開全部8個P核、8個E核，效果更是堪稱飛快，輸出性能達到了每個Token 47毫秒左右，已經不弱于很多云側計算。

之所以對比兩種情況，因為有時候需要將全部算力投入AI模型的運算，而有時候可能還得兼顧其他任務。

可以看出，無論哪種情況，Intel PC側都已經可以很好地完成相應的AI工作，提供令人滿意的算力和效率。

此外，在LLaMA2 130億參數大語言模型、StarCoder 155億參數代碼大模型上，Intel酷睿處理器也都能獲得良好的運行速度。

換到Arc GPU顯卡上，Intel硬件跑端側AI同樣神速，甚至更快，無論是ChatGLM2 60億參數，還是LLaMA2 130億參數、StarCoder 155億參數，都是如此，ChatGLM2模型中甚至可以縮短到20毫秒以下。

當然，以上說的大模型可能距離普通人還有些遠，而任何一項技術要想大范圍普及，關鍵還是顛覆用戶的切身工作、生活、娛樂體驗，AI當然也不例外。

在高宇看來，基于以上大模型，AI在端側的典型應用還是相當豐富的，而且會越來越多，有時候效果會更勝于運行在云側。

比如超級個人助手，通過低比特量化，在PC側可以獲得更好的效果。

比如文檔處理，包括中心思想提煉、語法錯誤糾正等等，PC側不僅可以很好地運行，還有利于保護個人隱私和數據安全。

再比如如今大火的Stable Diffusion和衍生模型的文生圖、文生視頻應用，PC側的算力也是足夠的。

使用Arc A730M這樣的筆記本獨立顯卡，就可以在幾秒鐘內完成高質量的文生圖、圖生圖、圖像風格轉換等，從而極大地節(jié)省工作量，將更多精力放在創(chuàng)意上。

這足以證明，一臺普通的筆記本在端側運行大模型，使用普通獨顯甚至集顯，依然可以獲得足夠快的響應速度和良好的體驗，當然這也得益于Intel的專項優(yōu)化。

當然，歸根到底，AIGC應用在PC端側的普及，離不開足夠多、足夠好用的生態(tài)軟件。

這樣的軟件，一方面可以來自各種商業(yè)軟件，他們本身就可以集成中小尺寸大語言模型，提供各種AIGC內容，一些創(chuàng)作軟件甚至可以集成Stable Diffusion。

另一方面可以來自各家PC OEM品牌廠商，在自己的電腦中集成專門開發(fā)、優(yōu)化的AIGC軟件，預裝提供給用戶，讓AIGC真正可用。

當然，端側運行AIGC也不是萬能的，一是算力不像云端那么強大，二是內存有限。

目前主流內存容量還是16GB，哪怕明后年普及32GB，可以承受的模型參數量也是有限的(130億以下)，這就需要進行低比特處理，比如FP16轉成INT4，還好在大語言模型中的問題回答質量只會有個位數的稍許下降，而在Diffusion模型中參數又不是很大，可以繼續(xù)跑FP16精度。

事實上，AI研究雖然已經取得相當豐富的成果，未來必然影響每個行業(yè)、每個人，但AI依然處在早期階段，廣泛的AI工作負載涉及到不同的模型規(guī)模、模型類型、整體基礎架構的復雜性，還要面臨云側、端側、混合等不同環(huán)境的適應性，這些都要持續(xù)探索和優(yōu)化。

相信隨著像Intel這樣有實力的大企業(yè)不但在AI應用上取得突破，尤其是將越來越多的AIGC應用帶到端側，讓越來越多的人感受到AI的魅力，它必然會更加廣泛、細致地深入我們的工作和生活，成為人們日常不可或缺的一部分，甚至在不知不覺中享受AI帶來的便利。

這，才是技術造福人類的本源。