本地llm應用 文章 進入本地llm應用技術社區

安霸發布N1系列生成式AI芯片,支持前端設備運行本地LLM應用

• 單顆 SoC 支持 1 至 340 億參數的多模態大模型（Multi-Modal LLM）推理，實現前端低功耗生成式 AI。Ambarella (下稱“安霸”，專注 AI 視覺感知的半導體公司）于當天宣布，在 2024 國際消費電子展（CES）期間，展出在其新款 N1 系列 SoC 上運行多模態大模型（Multi-Modal LLM），其每次推理的功耗顯著低于當前市場的通用 GPU 解決方案。生成式 AI 是為了處理大規模數據集而最早應用于服務器上的變革性技術，而安霸的目標是將生成式 AI 部署于終端設備
• 關鍵字： 安霸  生成式AI芯片  本地LLM應用