手把手基于 MINI 數(shù)據(jù)集帶你做一次板端精度評估

# 1.引論：寫在前面的

性能評估和精度評估在模型開發(fā)和部署過程中是至關重要的兩個部分。對于精度評估，地平線算法工具鏈提供了兩中路徑進行算法的精度評估。一條為服務器端精度評估，該路徑通過 PYTHON 腳本使用 PYTHON 推理接口進行板端推理仿真，運行。BC 或 quantized.onnx 量化量化模型以獲取推理結果并進行后處理后與真值進行對比，最終計算出量化模型的精度；另一條另則是直接在板端推理量化后的 hbm 模型，獲取推理結果，然后下載推理結果到服務器端并通過 PYTHON 評估腳本結合真值進行進行計算，最終計算出量化模型的精度。因為后者是在板端進行推理，可以充分利用硬件加速過程，在速度上相比服務器仿真要高效很多，不過，限于板端存儲限制，評測所需要的大數(shù)據(jù)集還需要通過 NFS 在板端使用。

本文以 bevformer 精度評估為例，引到讀者從評測環(huán)境構建到評測數(shù)據(jù)準備，最后到精度評測試試和最終結果計算的整個流程，以期給您一個進行板端精度評測的一個流程全貌。

# 2.環(huán)境準備和評測實施

整個評測過程涉及 評測所用的數(shù)據(jù)集文件準備、NFS 服務端安裝和板端目錄掛載、評測程序準備和相關文件配置、評測執(zhí)行和結果收集 以及 評測結果計算 等 5 個小環(huán)節(jié)。其中評測所用的數(shù)據(jù)集文件準備、NFS 服務端安裝、評測結果結算是在服務器端進行，而板端目錄掛載、評測程序準備和相關文件配置、評測執(zhí)行和結果收集為板端執(zhí)行部分。下面為針對這寫過程逐步為大家展開說明。因為測評過程是基于算法工具鏈進行的，所以在開始測評之前需要大家先配置好工具鏈的 docker 環(huán)境并關在 OE 示例包。我這里以征程 6 的 OE-3.0.22 為例進行說明，另外為了加速測試過程，這里僅以 mini 數(shù)據(jù)集加以闡述。

## 2.1 評測所用的數(shù)據(jù)集文件準備

1.下載的 nuScenes 的 v1.0-mini.tgz、nuScenes-lidarseg-all-v1.0.tar.bz2、nuScenes-map-expansion-v1.3.zip 和 can_bus.zip 后進行解壓，解壓后的目錄如下所示：

```Plain

|--nuscenes

    |-- can_bus #can_bus.zip解壓后的目錄

    |-- lidarseg #nuScenes-lidarseg-all-v1.0.tar.bz2解壓后的目錄

    |-- maps #nuScenes-map-expansion-v1.3.zip解壓后的數(shù)據(jù)

    |-- samples #v1.0-mini.tar解壓后的目錄

    |   |-- CAM_BACK

    |   |-- ...

    |   |-- CAM_FRONT_RIGHT

    |   |--  ...

    |   `-- RADAR_FRONT_RIGHT

    |-- sweeps #v1.0-mini.tar解壓后的目錄

    |   |-- CAM_BACK

    |   |-- ...

    |   |-- CAM_FRONT_RIGHT

    |   |--  ...

    |   `-- RADAR_FRONT_RIGHT

    |-- v1.0-mini #v1.0-mini.tgz解壓后的目錄

        |-- attribute.json

        |

        `-- visibility.json

```

2.在 nuscenes 下創(chuàng)建 meta 文件夾，將解壓后的 v1.0-mini 文件夾、maps 文件夾、lidarseg 文件夾拷貝到 meta 文件夾內(nèi)，構建如下：

```Plain

meta/

├── lidarseg

│   └── v1.0-mini

├── maps

│   ├── 36092f0b03a857c6a3403e25b4b7aab3.png

│   ├── 37819e65e09e5547b8a3ceaefba56bb2.png

│   ├── 53992ee3023e5494b90c316c183be829.png

│   ├── 93406b464a165eaba6d9de76ca09f5da.png

│   ├── basemap

│   ├── expansion

│   └── prediction

└── v1.0-mini

    ├── attribute.json

    ├── calibrated_sensor.json

    ├── category.json

    ├── ego_pose.json

    ├── instance.json

    ├── log.json

    ├── map.json

    ├── sample.json

    ├── sample_annotation.json

    ├── sample_data.json

    ├── scene.json

    ├── sensor.json

    └── visibility.json

```

3.進入工具鏈的/samples/ucp_tutorial/dnn/ai_benchmark/j6/qat/tools/eval_preprocess/目錄修改 bev_preprocess.py、

4.修改 bev_preprocess.py 后執(zhí)行下列命令： python3 bev_preprocess.py --model=bevformer_tiny_resnet50_detection_nuscenes --data-path=/data_set/nuScenes_mini --meta-path=/data_set/nuScenes_mini/meta --reference-path=…/…/script/config/reference_points --save-path=。/nuscenes_bev_mini

> 注：/data_set/nuScenes_mini 為上述準備的數(shù)據(jù)集的目錄

1. 上述命令執(zhí)行后生成 nuscenes_bev_mini 目錄（其中包含 gt 信息 val_gt_infos.pkl）和 idx.txt，他們作為精度評測過程依賴文件，在 NFS server 構建之后可以拷貝到 NFS 分享目錄中，將來在板端掛載后使用。

## 2.2 NFS 服務器安裝、配置 以及 板端掛載使用

### 2.2.1 NFS 服務器安裝和配置（ *此處為 ubuntu2204 系統(tǒng)* ）

1.安裝和啟動

```

# 安裝nfs-server（安裝后會自動啟動）

sudo apt install nfs-kernel-server

# 查看nfs-server狀態(tài)

sudo systemctl status nfs-server

# 開機自啟

sudo systemctl enable nfs-server

```

2.創(chuàng)建共享目錄

```

sudo mkdir -p /mnt/nfs_share

#修改權限

sudo chmod -R 777 /mnt/nfs_share

# ！！！準備好的精度評測過程依賴文件可以拷貝到新建的目錄中，板端掛載后即可使用

```

3.使用命令 sudo vi /etc/exports 編輯配置文件，末尾添加如下內(nèi)容： `/mnt/nfs_share *(rw,sync,no_subtree_check,insecure,no_root_squash)`

4.使用命令`sudo systemctl restart nfs-server`重啟 NFS 服務

### 2.2.2 NFS 板端掛載和可用性驗證

```

#安裝依賴包(默認Jx開發(fā)板系統(tǒng)已安裝，此處僅為在其他板端或服務器掛載NFS做參考)

#sudo apt install nfs-common

#創(chuàng)建掛載目錄

mkdir -p /userdata/nfs

#掛載NFS共享目錄（這里假設服務器IP為：192.168.1.6）

sudo mount -t nfs 192.168.1.6:/mnt/nfs_share /userdata/nfs

```

## 2.3 評測程序準備和相關文件配置

1. 精度評測工具準備 該文章精度評測使用工具鏈自帶的 ai_benchmarch 進行內(nèi)容展開和測試實施，因此實在測評開始前需要先編譯好 ai_benchmarch 的上板程序，并將編譯結果打包后上傳到用于實施精度評測的開發(fā)板上（一般來講/map 目錄空間較大，這里以將 ai_benchmarch 部署包上傳至/map/tester 下，解壓后為/map/tester/ai_benchmark）

2. 精度測試流程啟動腳本 為/map/tester/ai_benchmark/qat/script/bev/bevformer_tiny_resnet50_detection_nuscenes/accuracy.sh，其配置文件為同級目錄下的 workflow_accuracy.json，從配置還可以看出其使用的數(shù)據(jù)位于…/…/…/data/nuscenes_bev/（絕對路徑為/map/tester/ai_benchmark/qat/data/nuscenes_bev）中。

3. 評測數(shù)據(jù)準備 /map/tester/ai_benchmark/qat/script/bev/bevformer_tiny_resnet50_detection_nuscenes/gen_file_list.sh 用于生成 workflow_accuracy.json 中所使用的*。lst 文件，為了適配 mini 數(shù)據(jù)集需要修改腳本如下（order_file 指向回灌數(shù)據(jù)生成過程中的 idx.txt）：

腳本修改后運行便可在/map/tester/ai_benchmark/qat/data/nuscenes_bev 目錄生成 mini 數(shù)據(jù)集對應的 lst 文件。

> - /userdata/nfs 為 NFS 掛載目錄，其中存放有評測所需要的文件。

> - 為了使得測試順利進行，測試數(shù)據(jù)可以使用`"ln -s /userdata/nfs/nuscenes_bev_mini/* ."`加以引用（實際應用過程很多使用也是通過軟鏈方式加以使用）

## 2.4 評測執(zhí)行和結果收集

數(shù)據(jù)準備好之后就可以運行 accuracy.sh 進行測評實施，測試完成后生成 eval.log，用于后面的最終結果評估。

## 2.5 評測結果計算

1. 精度計算在服務器端的 OE 開發(fā)環(huán)境中進行，執(zhí)行腳本為/open_explorer/samples/ucp_tutorial/dnn/ai_benchmark/j6/qat/tools/python_tools/accuracy_tools/bev_eval.py。

2. 為了使用 mini 數(shù)據(jù)集，需要對腳本稍加修改如下：

3.將板端運行 accuracy.sh 后生成的 eval.log 傳回服務器端 OE 開發(fā)環(huán)境中聯(lián)合數(shù)據(jù)集的 meta（前面準備評測數(shù)據(jù)集時已備），以及準備評測數(shù)據(jù)集過程中生成的 val_gt_infos.pkl 執(zhí)行下面的精度評估命令的到評估結果。

```

cd /open_explorer/samples/ucp_tutorial/dnn/ai_benchmark/j6/qat/tools/python_tools/accuracy_tools

#eval.log、val_gt_infos.pkl和meta的位置根據(jù)自身情況調(diào)整。

python3 bev_eval.py  --det_eval_path=eval.log --gt_files_path=../../eval_preprocess/nuscenes_bev_mini/val_gt_infos.pkl --meta_dir=/data_set/nuScenes_mini/meta

eval.py  --det_eval_path=eval.log --gt_files_path=../../eval_preprocess/nuscenes_bev_mini/val_gt_infos.pkl --meta_dir=/data_set/nuScenes_mini/meta

```