經(jīng)過AI加速的MCU增強了語音和視覺處理能力

瑞薩電子宣布推出 RA8P1，這是一款專為 AIoT（物聯(lián)網(wǎng)人工智能）應(yīng)用而設(shè)計的 AI 加速微控制器。該器件將 ARM Cortex-M85 和 Cortex-M33 內(nèi)核與 Ethos-U55 神經(jīng)處理單元 （NPU） 相結(jié)合，將 AI 處理功能直接集成到微控制器外形中。

RA8P1 提供高達 1 GHz 的 CPU 性能和 256 GOPS 的 AI 推理能力。與僅使用 CPU 的 AI 處理相比，集成的 Ethos-U55 NPU 的性能提高了 10-35 倍，從而在微控制器應(yīng)用中實現(xiàn)實時推理。

該器件具有 1MB 嵌入式 MRAM 和 2MB SRAM，具有支持 OctoSPI 的外部存儲器接口。集成了多個攝像頭和音頻接口（MIPI-CSI、I2S、PDM），用于 AI 應(yīng)用。

Rumi AI 框架提供神經(jīng)網(wǎng)絡(luò)優(yōu)化和模型轉(zhuǎn)換，支持 TensorFlow Lite、PyTorch 和 ONNX 框架，以及有助于縮短開發(fā)時間的應(yīng)用程序示例。

“如果我們真的想在網(wǎng)絡(luò)的極端邊緣和端點實現(xiàn)智能，就必須以高效、實時響應(yīng)且具有成本效益的方式完成，”瑞薩電子嵌入式處理業(yè)務(wù)副總裁 Daryl Khoo 解釋道。RA8P1 通過在端點實現(xiàn)本地處理來解決以云為中心的 AI 限制。

該設(shè)備面向結(jié)合語音和視覺處理的多模態(tài) AI 應(yīng)用程序。應(yīng)用包括語音 AI（關(guān)鍵字識別、自然語言理解）、視覺 AI（對象檢測、手勢識別）和用于預(yù)測性維護的實時分析。

RA8P1 采用 22 納米工藝制造，從傳統(tǒng)的 40 納米 MCU 制造中發(fā)展而來。該器件集成了 MRAM 技術(shù)，與傳統(tǒng)閃存相比，可提供更快的速度和更高的耐用性，同時功耗更低。

雙核架構(gòu)支持系統(tǒng)分區(qū)，Cortex-M33 處理低功耗任務(wù)，而 Cortex-M85 管理 AI 工作負載。回退模式可確保不受支持的神經(jīng)網(wǎng)絡(luò)運算符可以在 CPU 內(nèi)核上執(zhí)行。

瑞薩電子將該設(shè)備與傳統(tǒng)微控制器競爭對手而不是專門的 AI 芯片公司進行了對比。“我們相信，將最高性能的 Cortex M85 內(nèi)核與 Ethos U55 相結(jié)合是市場上最好的組合，”Khoo 說，并指出現(xiàn)有解決方案“往往會發(fā)熱”，不適合低功耗多模態(tài)應(yīng)用。

安全合規(guī)性仍然是一個重點，加密引擎支持 FIPS 3 級認證要求，并為歐盟網(wǎng)絡(luò)彈性法案合規(guī)性做準備。

RA8P1 代表了瑞薩電子將 AI 處理引入邊緣設(shè)備的方法，針對具有集成處理功能的智能物聯(lián)網(wǎng)應(yīng)用。