內存占用與監控方式介紹

神經網絡模型常見的內存占用可以分為以下幾個部分：

• 定義：神經網絡的權重和偏置等參數會占用內存。

• 計算方法：

• 參數總量 = 各層參數數量的總和。

• 每個參數的大小取決于數據類型（如 float32 為 4 字節，float16 為 2 字節，int8 為 1 字節）。

• 公式： 參數內存=參數總數×每個參數的字節數

• 示例： 一個全連接層 輸入維度=1024，輸出維度=512，數據類型為 float32，則： 參數量=1024×512+512 （偏置項）=524,800 參數內存： 524,800×4?Bytes≈2.1?MB

• 定義：網絡各層的中間結果（激活）占用內存。

• 計算方法：

• 激活值總量 = 每層輸出的維度之和。

• 數據類型通常與模型參數一致（如 float32）。

• 公式： 激活內存=每層激活值數量×每個激活值的字節數

• 示例： 卷積層：輸入特征圖大小為 64×64（寬 × 高），通道數為 128，輸出通道數為 256，假設數據類型為 float32，則： 激活內存大小=64×64×256×4 （Bytes）=4MB

• 輸入數據：

• 輸入數據占用內存，根據輸入維度計算。

• 示例：輸入大小為 32×3×224×224，數據類型為 float32：32×（3×224×224）×4≈19MB

• 輸出數據：

• 模型輸出也需要占用內存，占用情況同輸入。

模型推理過程中的內存占用來自三個方面， input tensor memory + output tensor memory + model memoy，其中 model memory 主要是模型文件 size + 運行時指令運行時所需的內存（如從 SRAM 換出所需），可以等效理解為第一節介紹的模型參數內存+激活內存。

此外，模型加載過程中 runtime 將申請額外的內存用于模型的解析，該申請的內存在初始化完成后釋放。

OpenExplorer 中提供的 hrt_ucp_monitor 支持監控內存信息，下面我們來看一下 hrt_ucp_monitor 監控內存的用法示例。

工具準備：將工具鏈 OpenExplorer 開發包中 hrt_ucp_monitor 傳到開發板上即可。

工具使用：運行 hrt_ucp_monitor 時，如果不指定參數，則使用默認參數運行。默認開啟所有硬件 IP 監控，以交互模式運行， BPU 和 DSP 每秒采樣 500 次，硬件 IP 占用率每 1000ms 刷新一次。如果想要修改，可以參考工具鏈的用戶手冊，或運行 hrt_ucp_monitor -h 獲取工具的使用詳情。

在終端運行命令：hrt_ucp_monitor，可以看到板端預留 4.5G 內存。

有兩個地方需要專門解釋一下：

1.ION（Ion Memory Allocator）共享內存管理

ION 是 google 在 Android4.x 為了解決內存碎片化管理而引入的通用內存管理器，用來支持不同的內存分配機制，如 CARVOUT（PMEM），物理連續內存（kmalloc），虛擬地址連續但物理地址不連續內存（vmalloc），IOMMU 等。

ION Info 還包括一些系統以及核間通信的占用，并不是模型本身的占用

2.HBMEM（Hobot Memory Management）地平線內存管理模塊

HBMEM，是一個地平線自研的內存管理軟件，用于解決 Linux 內核無法很好的支持預留內存的管理，以及應用與驅動之間的內存共享的問題。

在 A 終端運行程序，在 B 終端運行命令：hrt_ucp_monitor，即可看到對應的監控信息：

可以看到，模型推理時，主要是 carveout 的內存，也可以使用如下命令查看內存使用情況：

cat /sys/kernel/debug/ion/heaps/carveout

查看對應進程的占用即可