最新OpenVINO 2021發行版介紹

英特爾分發版OpenVINO 2021工具套件發布說明

OpenVINO工具套件介紹

英特爾分發版OpenVINO工具套件用于解決計算機視覺、語音識別、自然語言處理以及推薦系統等應用方案的快速部署。基于最新的人工神經網絡，包括卷積神經網絡、序列神經網絡和基于注意力機制的網絡等，該套件在跨英特爾硬件平臺上支持計算機視覺和非視覺負載，并支持從邊緣到云的高性能AI和深度學習推理。

下載地址 |

https://software.intel.com/content/www/cn/zh/develop/tools/openvino-toolkit/download.html?cid=other&source=eepw_web-res_ceds&campid=prc_q2_iotg_ov-da&content=web-reg_all   

• 2020年10月推出的一個主要版本（2021版）。建議您升級到此版本，因為它引入了一些新的重要功能，以及不兼容的更改。

• 對TensorFlow 2.2.x的支持。正式支持在 TensorFlow 2.2.x 框架中訓練的模型。

• 支持最新硬件。正式支持用于物聯網應用的第11代英特爾酷睿處理器家族（之前代號為 Tiger Lake），可通過新的英特爾Iris Xe圖形處理器和英特爾 DL Boost 指令集獲得推理性能的增強，以及通過第二代英特爾高斯和神經網絡加速器獲得低功耗語音處理的加速。

• 不止是計算機視覺。針對計算機視覺之外的負載，比如音頻、語音、語言和推薦，通過OpenVINO工具套件也實現了端到端部署。為此提供了新的預訓練模型、公開模型的支持、代碼示例和演示以及對非視覺DL Streamer的支持。

• 深度學習工作臺DL Workbench與Intel DevCloud for the Edge的集成（Beta版）將在2020年第4季度發布。開發人員現在可以使用圖形化的方式來分析模型。您可以通過Intel DevCloud for the Edge平臺上（而不是在本地開發機上）的深度學習工作臺DL Workbench對同一應用方案的多種遠程硬件配置進行比較、可視化和性能微調等分析。

• OpenVINO模型服務器。作為OpenVINO工具套件的一個附加組件，它是一個可擴展的微服務，提供了用于推理的gRPC或HTTP/REST端口，從而使在云服務器或邊緣服務器環境中部署模型變得更容易。它現在是用C++實現的，以減少容器資源占用（例如，小于500 MB），并提供更高的吞吐量和更低的延遲。

• 現在也支持Gitee和PyPI渠道下載。建議從適合您的分發方法中選擇并下載。
  

• 棄用API列表和API更改。（見原英文版介紹）

• 自2020.3版本以來，IRv7已經棄用，并且當前版本也不再支持,建議遷移到最高版本IRv10。IRv10提供了流線型同時也是面向未來的操作集，兼容通用的框架，并且對量化模型的運行提供更好的低精度表示，同時也支持可變形（reshape）的模型。

• 移除了Inference Engine NNBuilder API。

• 移除了一些Inference Engine公共API。（見原英文版介紹）

• 從2020.2版本開始，之前所有通過nGraph實現的功能都已經合并到了OpenVINO工具套件。因此之前的ONNX RT Execution Provider for nGraph也已經合并到了ONNX RT Execution Provider for OpenVINO，所以ONNX RT Execution Provider for nGraph 從2020年6月1日起就被棄用了并且會在2020年12月1日移除。建議遷移到ONNX RT Exectuion Provider for OpenVINO，它將作為所有英特爾硬件上AI推理的統一方案。

• 棄用或移除了一些nGraph公共API。（見原英文版介紹）

• 更新了nGraph公共API的結構。

• 更新了系統需求。

• 為提高基于FPGA的深度學習方案的定制化水平，英特爾將轉移到下一代可編程深度學習方案。作為這個計劃的一部分，以后的非LTS標準發布將不再支持Intel Vision Accelerator Design with Intel Arria 10和Intel Programmable Acceleration Card with Intel Arria 10 GX FPGA。不過在LTS版本中還將繼續支持。關于下一代基于FGPA可編程深度學習方案的問題，可咨詢您的銷售代表或聯系我們。
  

公共更改

• 實現了一些優化轉換，將操作的子圖替換為HSwish、Mish、Swish和SoftPlus操作。

• 模型優化器生成的IR中會默認保持子圖的形狀計算。

• 使用推理引擎的可變形API修復了模型優化器生成不能改變形狀的模型中間表示的轉換問題。

• 實現了原始網絡中不可變形模式的變換。

• 增加了TensorFlow 2.x的依賴信息。

• 用ScatterNDUpate 4替換了SparseToDense操作。
  

ONNX

• 增加了使用“–output”命令行參數指定模型輸出張量名稱的功能。

• 添加了對以下操作的支持：

o Acosh

o Asinh

o Atanh

o DepthToSpace-11, 13

o DequantizeLinear-10 (zero_point must be constant)

o HardSigmoid-1,6

o QuantizeLinear-10 (zero_point must be constant)

o ReduceL1-11, 13

o ReduceL2-11, 13

o Resize-11, 13 (except mode="nearest" with 5D+ input, mode="tf_crop_and_resize", and attributes exclude_outside and extrapolation_value with non-zero values)

o ScatterND-11, 13

o SpaceToDepth-11, 13

TensorFlow

添加了對以下操作的支持：

• Acosh

• Asinh

• Atanh

• CTCLoss

• EuclideanNorm

• ExtractImagePatches

• FloorDiv
  

MXNet

添加了對以下操作的支持：

• Acosh

• Asinh

• Atanh
  

Kaldi

修復了對ParallelComponent支持的Bug。現在已經完全支持了。

公共更改

• 遷移到了 Microsoft Studio C++（MSVC）2019 編譯器并將其作為 Windows 平臺的默認選項，這使得 OpenVINO 運行時庫的二進制大小減小了2.5倍。

• 將基于CPU的預處理操作（包含不同通道數圖片的大小調整、布局轉換和顏色空間轉換等）移植到AVX2和AVX512指令集。

推理引擎Python API

• 增加了nGraph Python API，提供了訪問nGraph Function的Python接口，方便對加載的網絡圖進行分析。支持設置網絡圖的節點參數。

• 支持使用Python API直接讀取ONNX模型。
  

推理引擎C API

CPU插件

添加了對新操作的支持：

• ScatterUpdate-3

• ScatterElementsUpdate-3

• ScatterNDUpdate-4

• Interpolate-4

• CTC-Loss-4

• Mish-4

• HSwish-4
  

GPU插件

• 支持面向物聯網應用的第11代英特爾酷睿處理器家族（之前代號為Tiger Lake）。

• 支持 INT8 推理。這是英特爾DL Boost技術在英特爾集成圖形處理器上的優化和應用。

• 支持新操作：

o Mish

o Swish

o SoftPlus

o HSwish1234

MYRIAD 插件

• 增加了對 ONNX下Faster R-CNN網絡 的支持，其具有固定的輸入形狀和動態的輸出形狀。

• 增加了用于實現自定義 OpenCL 層的自動 DMA 的支持。

• 增加了對新操作的支持：

o Mish

o Swish

o SoftPlus

o Gelu

o StridedSlice

o I32 data type support in Div

• 提升了已有操作的性能：

o ROIAlign

o Broadcast

o GEMM

• 為myriad_compile添加了一個新選項 VPU  TILING_uCMX_ LIMIT_uKB，從而限制 DMA 傳輸大小。

• 提供了僅用于英特爾第二代神經網絡計算棒中的SHAVE處理器的OpenCL編譯器。
  

HDDL 插件

• 支持用于自定義OpenCL層的自動DMA。

• 與MYRIAD插件中相同的新增操作和優化。

• 提供了僅用于Intel Vision Accelerator Design with Intel Movidius VPUs中的SHAVE處理器的OpenCL編譯器。
  

GNA插件

• 支持面向物聯網應用的第11代英特爾酷睿處理器家族（之前代號為Tiger Lake）。增加了對多個新的網絡層以及層間融合的支持。

• 增加了從流中直接導入模型的支持。

• 在Windows上增加了對QoS機制的支持。在Python基準測試程序中增加了對GNA特定參數的支持。
  

• 引入opset4。這個新的操作集包含了以下操作。注意并不是所有的OpenVINO插件都支持這些操作。

o Acosh-4

o Asinh-4

o Atanh-4

o CTCLoss-4

o HSwish-4

o Interpolate-4

o LSTMCell-4

o Mish-4

o Proposal-4

o Range-4

o ReduceL1-4

o ReduceL2-4

o ScattenNDUpdate-4

o SoftPlus-4

o Swish-4

• 增加了nGraph Python API，提供了訪問nGraph Function的Python接口，方便對加載的網絡圖進行分析。

• 重構了nGraph轉換API,使得它的結構更加透明并且使用起來更友好。

• 改變了nGraph文件夾的結構。nGraph公共API從其它代碼中分離了出來，并且ONNX導入器也移到了前端文件夾。

• 發布了1.4版本的NNCF，主要面向PyTorch框架。

• 支持導出剪枝后的模型到ONNX。

• 增加了基于FP16數據類型的量化微調。

• 增加了通用壓縮算法中初始化環節的批量歸一化適配。

• 提升了基本通道量化的訓練性能。

• 增加了對Embedding和Conv1D權重的默認量化。
  

• 在精度敏感算法中增加了量化參數的自動調整。

• 加速了Honest偏差糾正算法。相比于在2020.4版本中使用use_fast_bias=false的情況，平均量化時間縮短了4倍。

• POT API產品化，并提供了如何使用此API的示例和文檔。

• 默認量化策略對應于兼容模式，需要在不同硬件上得到幾乎一致的準確率。

• 覆蓋了44個新的模型。
  

添加了對以下操作的支持：

- Acosh
- Asinh
- Atanh
- CTCLoss
- EuclideanNorm
- ExtractImagePatches
- FloorDiv

• 已將版本更新到4.5.0。

• 將上游許可證更改為 Apache 2。

• 在 OpenCV 應用程序中添加了對多個 OpenCL 上下文的支持。
  

更新了推理引擎C++示例演示如何直接加載ONNX模型。

• 通過新增CNN預訓練模型和重新生成中間表示（xml+bin）擴展了Open Model Zoo：

o 替代了2020.4中的模型：

-face-detection-0200

-face-detection-0202

-face-detection-0204

-face-detection-0205

-face-detection-0206

-person-detection-0200

-person-detection-0201

-person-detection-0202

-person-reidentification-retail-0277

-person-reidentification-retail-0286

-person-reidentification-retail-0287

-person-reidentification-retail-0288

o 增加了新的模型：

-bert-large-uncased-whole-word-masking-squad-emb-0001

-bert-small-uncased-whole-word-masking-squad-0002

-formula-recognition-medium-scan-0001-im2latex-decoder

-formula-recognition-medium-scan-0001-im2latex-encoder

-horizontal-text-detection-0001

-machine-translation-nar-en-ru-0001

-machine-translation-nar-ru-en-0001

-person-attributes-recognition-crossroad-0234

-person-attributes-recognition-crossroad-0238

-person-vehicle-bike-detection-2000

-person-vehicle-bike-detection-2001

-person-vehicle-bike-detection-2002

-person-vehicle-bike-detection-crossroad-yolov3-1020

-vehicle-detection-0200

-vehicle-detection-0201

-vehicle-detection-0202

o 生命周期結束了的模型：

-face-detection-adas-binary-0001

-pedestrian-detection-adas-binary-0001

-vehicle-detection-adas-binary-0001

• 增加了新的演示程序：

o bert_question_answering_embedding_demo, Python

o formula_recognition_demo, Python

o machine_translation_demo, Python

o sound_classification_demo, Python

o speech_recognition_demo, Python 

• Open Model Zoo工具：

o 增加了模型下載速度。

o 在每個模型的文件夾下增加了精度檢查的配置文件。

o 簡化了精度檢查配置文件，不再需要給出模型IR的路徑、目標硬件以及數據精度等配置信息。

o 通過推理引擎預處理API使得精度檢查工具支持優化的預處理操作。

o 不需要將ONNX模型轉成IR格式就可以在精度檢查工具中進行ONNX模型評估。

• 通過增加對音頻分析的支持，擴大了DL Streamer的使用范圍，不止限于視頻。增加了一個新的gvaaudiodetect元素用于音頻事件的檢測（AclNet模型）。在示例文件夾下增加了一個這個管道的示例。
  

• 增加了一個新的gvametaaggregate元素用于整合來自一個管道不同分支上的結果。這樣就可以支持創建復雜的管道，比如將一個管道分拆成多個分支進行并行處理，然后整合結果。

• 實現了GPU內存共享，即zero-copy,使得數據在VAAPI解碼、大小調整、CSC以及DL Streamer的各推理元素間可以更高效的共享，達到整體管道性能的提升。

• 在gvatrack和gvawatermark元素的輸入和輸出處增加GPU內存，這樣在GPU進行推理的時候，就可以不用調用gvaapipostproc元素顯示地將數據從GPU內存轉移到CPU內存。

•  [預覽]擴展DL Streamer支持 Ubuntu 20.4。

• 更多信息請參考開源代碼庫。
  

• 模型服務器是一種可擴展且高性能工具，用以提供經OpenVINO工具套件優化后的模型。它提供的基于gRPC或HTTP/REST端口的推理服務，可以幫助您快速將模型產品化。
  

• 主要功能和提升：

o 提升了單服務器示例的擴展性。通過新的C++實現，您可以以線性擴展的效果充分利用已有資源，避免前端的性能瓶頸。

o 降低客戶端和服務器之間的時延。

o 降低資源占用。通過切換到C++實現或減少依賴，Docker鏡像大小可以降低到450MB。

o 增加對線上模型進行更新的支持。服務檢測器的配置文件可以根據需要而不需要重啟服務就可以更改或重新加載模型。

• 更多信息請參考開源代碼庫。