不用寫程序也能輕松上手─DL Workbench圖形化接口工具（下）

＊實際案例操作：SSD對象檢測

接下來就用一個實際的例子來說明如何操作DL Workbench。

1.數據集預處理

    如果手上沒有現成的數據集可供測試，可以參考官網[6]的說明下載需要的公開數據集及標注檔(Annotations)。這里以COCO 2014數據集舉例說明。點選網頁[6]上Download COCO Dataset下的[2014 Val images](約6.2G Byte)和[2014 Train/Val annotations](約241M Byte)下載圖像集(val2014.zip)和標注文檔(annotations_trainval2014.zip)。

    接著建立一個文件夾(/home/<用戶名稱>/Work)來存放這兩個文件。

    選擇網頁[6]Cut COCO Dataset下的[the script to cut datasets](cut_dataset.py)另存新文件到剛才建立的文件夾中。最后執行數據集減量(cut)操作，只保留少部份文件，方便DL Workbench導入(import)測試，完成后會自動產生新的壓縮文件并存放在/home/<使用名稱>/Work/subsets/coco_subset_10_29.tar.gz。完整執行命令如下所示。

#先將數據集和標注文件及剪切程序復制到/home/用戶名稱/Work路徑下

#再執行cut_dataset.py，根據指定路徑（*_dir）獲得源文件，設置指定數量(output_size)的圖像，最后輸出到output_archive_dir路徑下。

#這里的python是指3.x不是2.x，若計算機中同時有兩種版本請改用python3

python/home/<User Name>/Work/cut_dataset.py

--source_images_archive_dir=/home/<User Name>/Work/val2014.zip

--source_annotations_archive_dir=/home/<User

Name>/Work/annotations_trainval2014.zip

--output_size=20

--output_archive_dir=/home/<User Name>/Work/subsets

--dataset_type=coco

--first_image=10

    如果想自行準備數據集，可參考官網[7]，其中Common Objects in Context(COCO)就有說明COCO文件安排格式，如Fig.5所示。

Fig.5 DL Workbench自備COCO數據集格式，

(a)一般分類/對象檢測

(b)圖像語義分割

(c)超分辨率

2.導入模型及轉換參數精度

    為了方便后續同時測試CPU及Neural Compute Stick 2(MYRIAD)，可使用下列命令啟動DLWorkbench。

./start_workbench.sh-IMAGE_NAME openvino/workbench-TAG latest-ENABLE_MYRIAD

    不過這里經測試后發現，如果你的計算機上沒安裝標準版的Distribution of OpenVINO toolkit for Linux[8]，而只有安裝Linux Docker環境時，將無法使用iGPU和NCS2(MYRIAD)。如果使用Windows Docker環境（Windows 10+Widnows Subsystem for Linux 2[WSL2]+Ubuntu 18.04）時則只能使用CPU，因為目前微軟在WSL2上GPU和USB驅動程序支持性仍不完整。

    接著就可以進入DL Workbench網頁操作界面，開始設置主動配置(Active Configurations)。這里需要設置四個項目，包括模型(Models)、目標(Target)、環境(Environment)及數據集(Dataset)。使用前要確保網絡暢通，因為接下來的工作需要從網絡上下載許多數據。

    首先按下“Create”鍵創建一組新的配置，導入(Import)現成的公開模型及預訓練好的模型，由于在線預訓練好的模型項目太多，可以直接輸入模型名稱快速檢索想要的模型。由于這個范例要測試對象檢測功能，所以選用「ssd_mobilenet_v2_coco」，再來選擇模型的參數精度(FP16/FP32)進行轉換(Convert)，完成后就會在模型區出現模型名稱、產生日期、參數精度、模型大小，狀態區會顯示是否還在傳輸中，完成后會產生一個綠色的對勾。完整流程如

Fig.6所示。

Fig.6設置DL Workbench推理模型流程。(OmniXRI Feb.2021整理制作)

    如果不想使用現成的模型，也可切換到原始模型(Original Model)頁面，根據系統要求自行提供對應格式的模型（網絡）及參數（權重值），再按“Import Model”即可導入自定義模型。

目前可支持OpenVINO IR,Caffe,MXNet,ONNX,TensorFlow等格式。

Fig.7 DL Workbench導入自定義模型。(OmniXRI Mar.2021整理制作)

3.導入數據集

    點選Validation Dataset旁的“Import”鍵，進入導入驗證數據集頁面，按“Choose File”鍵，選擇歩驟1產生的coco_subset_10_29.tar.gz，按下“Import”，即可完成導入數據集。如Fig.8所示。

Fig.8 DL Workbench導入數據集。(OmniXRI Mar.2021整理制作)

4.設置目標/環境

    這里可看到目前有CPU和MYRIAD(NCS2)兩種裝置可供選擇，可先選擇其中一種(CPU)，點擊模型和數據集后即可按下頁面最下方的“Create”建立第一種配置。如Fig.9所示。這里要注意的是，模型及數據集沒有準備好之前（尚在傳輸或轉換中）是無法設置目標及環境。

Fig.9 DL Workbench設置目標環境并建立配置。(OmniXRI Mar.2021整理制作)

5.建立基準點

    按下“Create”建立第一組配置后，就會進入配置頁面，并進行第一次推理，自動產生第一個基準點。推理時根據執行硬件的不同，可能需要等待一小段時間，完成后會得到最佳的輸出速度(Best Throughout,FPS)、延遲時間(Respective Latency,ms)及推理精確度(Accuracy)，并在效率綜合圖表上繪出一個參考點。

    通常預設為單獨推理(Single Inference)，用戶可自由定義要測試的并行推理(Parallel Infers)及批次大小(Batch Size)，再按下“Execute”鍵來測試不同條件的推理效果。如果覺得一直手動調整太麻煩，也可使用組推理(Group Inference)，直接點擊要測試的組合，按下“Execute”鍵，然后泡杯咖啡慢慢等結果出來。從產出的圖表就可一眼看出哪種組合的效果最好，做為后續打包輸出的依據，如Fig.10所示。

Fig.10 DL Workbench建立基準點及結果圖。(OmniXRI Mar.2021整理制作)

6.基準點效能比較

    測試效果除了可以使用單獨或組測試外，也可進行多種硬件的推理效果比較。首先點擊頁面上方的“Create”重新回到步驟4，此時只需改選裝置為[Intel Movidius Myriad X VPU](NCS2)，其它模型和數據集不變，移到頁面最下方按下“Create”鍵就能新增一組配置，再次回到步驟5。此時可參考步驟5，將所有操作重復一遍，得出相同參數結果方便進行比較。

    接著按下“Compare”就能進入比較頁面進行兩組配置的測試結果比較，若有兩組以上配置，則一次只能勾選兩組進行比較。這里除了基本效果圖表外，還有平均延遲時間、各層運行時間及更多圖表信息，可根據需求自行參考，如Fig.11所示。

Fig.11 DL Workbench多配置基準點效能比較。(OmniXRI Mar.2021整理制作)

7.上傳圖像測試

    經過上面一連串設置及找到最優配套后就可以來測試一下模型推理能力，這里支持直接上傳單張測試圖像來實驗。首先切換到“Test”頁面，按下“Select Images”上傳待測試的圖像，或者直接把圖像拉到這個框里面。接著按下“Test”進行測試，預測(Predicitions)結果就會出現在右方。顯示結果內容包括一組可調的臨界值(Threshold)和高于臨界的對象，同時會顯示對象的分類編號(Class ID#)和置信度(Confidence)。點擊對象編號時，左側還會繪制出對應的內容。若覺得檢測出的對象太少，可將臨界值調低，再確認一下。

    另外目前COCO檢測結果只有用數字編號(Class#00)表示，并沒有直接卷標(Label)文字標示，不容易直接確認結果。如果想更確認編號對應內容，可參考[9]說明。一般COCO有91分類和80分類（從91類刪除部份），而現在對應的是91分類的標簽。

    接著就用幾張圖來實驗一下結果，第一組貓和狗，一張對象重迭(Ex.1-1)、一張物件分開(Ex.1-2)。第二組蘋果和香蕉，一張對象重迭(Ex.2-1)、一張物件分開(Ex.2-2)。初步實驗結果可看出SSD_MobileNet_v2_COCO這組預練訓模型對于重迭的對象似乎分辨能力較弱，而較大的對象則辨識能力尚可接受。不過這樣的實驗數據太少，所以結論可能不完全正確，僅供參考。測試內容如Fig.12所示，而測試結果如Fig.13～16所示。

Fig.12 DL Workbench進行對象檢測流程及測試樣本圖像。(OmniXRI Mar.2021整理制作)

Fig.13 Ex.1-1對象檢測實驗結果。(OmniXRI Mar.2021整理制作)

Fig.14 Ex.1-2對象檢測實驗結果。(OmniXRI Mar.2021整理制作)

Fig.15 Ex.2-1對象檢測實驗結果。(OmniXRI Mar.2021整理制作)

Fig.16 Ex.2-2對象檢測實驗結果。(OmniXRI Mar.2021整理制作)

8.打包輸出

    為了后續更方便地部署到對應目標工作環境，并且讓編程人員能直接編寫及呼叫對應函數，這里還提供打包輸出，不過目前只支持Linux。打包內容包含所選擇執行目標（硬件）相關函數、模塊、Python API及安裝腳本。首先切換到“Pack”頁面，勾選所需項目，再按下“Pack”就會開始打包成一個壓縮文件(*.tar.gz)并詢問要存放的路徑，如此即完成所有程序。如Fig.17所示。

Fig.17 DL Workbench打包選項及程序。(OmniXRI Mar.2021整理制作)

＊小結

    通過以上的說明及實例操作，相信大家應該對Intel OpenVINO Toolkit中的DL Workbench有了一些初步的認識，圖形化的接口更是讓用戶可以輕松上手，一目了然。對于那些不會或不想編程就想要快速實驗想法的人，及需要耗費大量心力調參的工程師來說，該工具確實縮短了開發及測試時間。后續還有更多優化及提升推理效果的工作，敬請期待。

＊參考文獻

[1]許哲豪，”【Intel OpenVINO教學】如何利用Docker快速創建OpenVINO開發環境”

http://omnixri.blogspot.com/2021/01/intel-openvinodockeropenvino.html

[2]Intel OpenVINO Toolkit,"Install the DL Workbench"

https://docs.openvinotoolkit.org/latest/workbench_docs_Workbench_DG_Install_Workbench.html

[3]Intel OpenVINO Toolkit,"Download and Cut Datasets"

https://docs.openvinotoolkit.org/latest/workbench_docs_Workbench_DG_Download_and_Cut_Datasets.html

[4]Intel,“DL(Deep Learning)Workbench|OpenVINO?toolkit|Ep.42|Intel Software”

https://youtu.be/20ROqz5j1y8

[5]Intel,“DL(Deep Learning)Workbench-The Full Flow|OpenVINO?toolkit|Ep.43|

Intel Software”https://youtu.be/DaR49bs8qwk

[6]Intel OpenVINO Toolkit,"Download and Cut Datasets"

https://docs.openvinotoolkit.org/latest/workbench_docs_Workbench_DG_Download_and_Cut_Datasets.html

[7]Intel OpenVINO Toolkit,"Dataset Types"

https://docs.openvinotoolkit.org/2021.2/workbench_docs_Workbench_DG_Dataset_Types.html

[8]Intel OpenVINO Toolkit,"Install Intel?Distribution of OpenVINO?toolkit for Linux*"

https://docs.openvinotoolkit.org/2021.2/openvino_docs_install_guides_installing_openvino_linux.html

[9]Amikelive Technology Blog,"What Object Categories/Labels Are In COCO Dataset?"

https://tech.amikelive.com/node-718/what-object-categories-labels-are-in-coco-dataset/

＊延伸閱讀

[A]許哲豪，”【Intel OpenVINO?教學】GStreamer串流視頻智能分析不再慢吞吞─了解Intel OpenVINO DL Stream如何加速視頻推理”http://omnixri.blogspot.com/2021/02/intelopenvinogstreamerintel-openvino.htm