小語言模型 文章 進入小語言模型技術社區(qū)

Arm Ethos-U85 NPU：利用小語言模型在邊緣側實現(xiàn)生成式AI

• 隨著人工智能?(AI)?的演進，利用小語言模型?(SLM)?在嵌入式設備上執(zhí)行?AI?工作負載成為業(yè)界關注的焦點。Llama、Gemma?和?Phi3?等小語言模型，憑借其出色的成本效益、高效率以及在算力受限設備上的易部署性，贏得了廣泛認可。Arm?預計這類模型的數(shù)量將在?2025?年繼續(xù)增長。Arm?技術以其高性能與低功耗的顯著優(yōu)勢，為小語言模型提供了理想的運行環(huán)境，能夠有效
• 關鍵字： Arm  Ethos-U85  NPU  小語言模型  生成式AI