OpenVINO?工具套件 2021 版的發布說明

英特爾? Distribution of OpenVINO? 工具套件用于快速開發應用程序和解決方案，以解決各種任務（例如：模擬人類視覺、自動語音識別、自然語言處理和推薦系統等）。該工具套件基于最新一代的人工神經網絡，包括卷積神經網絡 (CNN)、遞歸網絡和基于注意力的網絡，可擴展跨英特爾? 硬件的計算機視覺和非視覺工作負載，從而最大限度地提高性能。它通過從邊緣到云部署的高性能、人工智能和深度學習推理來為應用程序加速。

英特爾? Distribution of OpenVINO? 工具套件

• 支持從邊緣到云的深度學習推理。

• 借助英特爾? CPU、英特爾? 集成顯卡、英特爾? Gaussian & Neural Accelerator、英特爾? 神經電腦棒 2、搭載英特爾? Movidius? 視覺處理器的英特爾? Vision Accelerator Design 的通用 API，支持跨英特爾加速器的異構執行。

• 通過一套易用的計算機視覺功能庫和預優化內核庫來加速上市時間。

• 包括針對 CV 標準進行的調用優化，包括 OpenCV* 和 OpenCL?。

第 2 版發布中的更新和更改

要點綜述

• 將深度學習工作臺與英特爾? DevCloud for the Edge 集成以構成 Beta 版本。使用英特爾? DevCloud for the Edge 上的深度學習工作臺（而不是僅本地計算機）以圖形方式分析模型，從而針對多個遠程硬件配置進行解決方案的比較、可視化和微調。

• 推出對 Red Hat Enterprise Linux (RHEL) 8.2 的支持。有關更多信息，請參閱系統要求。 運行時包可供下載。

• 在模型優化器中為通過 TensorFlow 量化感知訓練進行了量化的模型推出每通道量化支持（包括權重的每通道量化），通過模型壓縮和延遲減少提高了性能。

• 預訓練模型和對公共模型的支持，以簡化開發：

• 公共模型：Yolov4（用于對象檢測）、AISpeech（用于語音識別）和 DeepLabv3（用于語義分割）

• 預訓練模型：人體姿勢估計（更新）、公式識別多項式手寫體（新增）、機器翻譯（更新）、通用手語識別（新增）和文本語音轉換（新增）

• 全新的 OpenVINO? 安全插件，通過安全封裝和執行來控制對模型的訪問。這款全新插件基于 KVM 虛擬機和 Docker* 容器，與 OpenVINO? 模型服務器兼容，可進行封裝以實現靈活部署和受控的模型訪問。

• PyPI 項目從 openvino-python 遷移到 openvino，2021.1 版將從默認視圖中移除。通過使用 openvino-python==2021.1，依賴于該特定版本的用戶將仍然可以使用該版本。

模型優化器

常見的變更

• 更新了對 NumPy 組件的要求，以避免與 TensorFlow 1.x 產生兼容性問題。

• 借助 Eltwise 和 CTCGreedyDecoder 運算，改進了模型的重塑能力

ONNX*

• 已支持使用“ --output”命令行參數指定模型輸出張量名稱的功能。

• 增加了對以下操作的支持：

• Acosh

• Asinh

• Atanh

• DepthToSpace-11、13

• DequantizeLinear-10（zero_point 必須為常數）

• HardSigmoid-1,6

• QuantizeLinear-10（zero_point 必須為常數）

• RedueL1-11、13

• RedueL2-11、13

• Resize-11, 13（除了mode="nearest"（5D+輸入），mode="tf_crop_and_resize"，以及屬性 exclude_outside 和 exclude_outside 使用非零值）。

• ScatterND-11、13

• SpaceToDepth-11、13

TensorFlow*

• 增加了在調整圖像大小之前應用平均/刻度值時，對使用預處理塊的 TensorFlow Object Detection API 模型的支持。此前僅支持在調整大小之后應用平均/標度值的情況。

• 將采用 FakeQuantize 方法的限值調整與 TensorFlow 方法保持一致

• 增加了對以下操作的支持：

• GatherND

• Round

• NonMaxSuppression

• LogSoftmax

• FakeQuantWithMinMaxVarsPerChannel

MXNet*

• 增加了對以下操作的支持：

• GatherND

• Round

Kaldi*

• 增加了對以下操作的支持：

• TdnnCompontent

推理引擎

常見變更

• 移除了 inference_engine_legacy 上的依賴項。自 2021.2 版起，客戶的應用程序不直接鏈接 inference_engine_legacy。inference_engine_legacy 直接通過插件鏈接。 

• 增加了對具有外部數據文件的 ONNX 模型讀取的支持。要讀取這些模型，僅需要將 core.ReadNetwork() 方法傳入到 ONNX 模型中，外部數據文件將會自動找到并加載。

• 對于 ONNX 讀取器，檢測受支持模型的邏輯有所改進。

• ONNX 依賴項已更新為 v1.7.0

• 增加了對 ONNX 函數的支持（運算符列表底部 https://github.com/onnx/onnx/blob/v1.7.0/docs/Operators.md）

• 改進了有關在 ONNX 載入器中注冊自定義運算的文檔和示例

• setBatchSize 方法現已遷移到重塑方法邏輯中，以更新模型的輸入形狀。此外，它還應用了對模型中的某些不可重塑模式進行松弛的智能重塑轉換。現在可以對同一模型使用 setBatchSize 和重塑方法，不會導致先前版本中的未定義行為。

• 在 Windows 平臺上，推理引擎庫在文件屬性中擁有新的“詳細信息”部分。該部分包含有關動態鏈接庫 (DLL) 的信息，包括庫的描述和版本。

廢棄 API

• ExecutableNetwork::QueryState 方法被 InferRequest::QueryState 方法取代，舊方法被廢棄。

• IVariableState::GetLastState 方法更名為 IVariableState::GetState，舊名稱被廢棄

• IMemoryState 更名為 IVariableState，舊名稱仍可使用，但不推薦

CPU 插件

• 增加了對新運算的支持：

• Loop-5

• Round-5

• NonMaxSuppression-3, NonMaxSuppression-5

• HSigmoid-5

• LogSoftmax-5

• GatherND-5

為 CTCLoss、Pad、Permute 和 Elementwise 運算實施了多項優化。這些優化改進了客戶模型上的 CPU 性能，大幅提高了 Open Model Zoo 范圍內的整體性能幾何平均值。

增加了對動態輸入的 I64/U64 數據類型的支持（通過到 I32 的內部轉換）。

改進了狀態 API，現在可以用于具有多個并行推理請求的應用程序：

• 修復了 IVariableState::GetName() 方法的 MKLDNN 插件實施，現在返回變量 ID

• 在 MKLDNN 插件中增加了對 IVariableState::GetState 的支持

GPU 插件

• 支持英特爾銳炬? Xe MAX 顯卡（原代號為 DG1） 

• 增加了對以下操作的支持：

• HSigmoid-5

• Round-5

• LogSoftMax-5

• 通過非對稱量化改進了 int8 卷積的性能

• 增加了插件側的編譯內核緩存機制，可使用它代替驅動程序中的 cl_cache。

MYRIAD 插件

• 增加了針對新操作的支持：

• HSwish

• GatherND

• 插補

• Ceil

• 為 Broadcast 運算增加了“雙向”模式。

• 為 Proposal 運算增加了第二個可選輸出。

• 改善了現有操作的性能：

• Mish

• Swish

NonMaxSuppression

HDDL 插件

• 與 MYRIAD 插件中相同的新操作和優化。

• 為 ION 驅動程序啟用了對 Linux 內核 5.4 的支持。

GNA 插件

• 模型導出現在可保存層名稱，因此可以在導入之后再次使用。

• 修復了某些層組合。

nGraph

• 推出了 opset5。全新 opset 包含以下全新操作。并非所有 OpenVINO? 工具套件插件都支持這些操作。

• BatchNormInference-5

• GRUSequence-5

• RNNSequence-5

• LSTMSequence-5

• Loop-5

• Round-5

• NonMaxSuppression-5

• HSigmoid-5

• LogSoftmax-5

• 實施了公共 nGraph 轉換：

• 低延遲
  轉換展開了 TensorIterator 節點，以在低延遲下對其進行逐步推理，每次推理運算中均存儲狀態。 轉換將迭代次數更改為 1，并使用 ReadValue 和 Assign 運算代替后向邊（例如，RNN 狀態輸入和輸出）。 可對 CPU 和 GNA 插件進行該轉換。

• 公共 nGraph API 變更：

• 推出 Sink 類以方便識別屬于圖形中的“Sinks”（未被任何其他節點使用的節點）的運算。通過“添加/移除 Sinks”的方法擴展了 nGraph Function API。目前，只有 Assign 節點繼承自 Sync 類，Result 節點是單獨存儲的特殊節點，并不是 Sinks。

• 在與英特爾? Distribution of OpenVINO? 工具套件集成之前持續清理 nGraph 原始代碼庫，可移除該工具套件不支持的傳統運算。

神經網絡壓縮框架 (NNCF)

• 對于單級對象檢測的情況，將 NNCF 與 OTE/mmdetection 集成。

• 發布了面向 PyTorch 的 NNCF v1.5：

• 切換了默認情況下設置的量化器基于傳播的模式（與硬件配置更好集成）。

• 對 HAWQ 混合精度量化算法實施了改進：壓縮比參數支持、激活量化器位寬選擇、更通用的損失計算方法。

• 通過視覺處理器硬件配置為 EltWise 提供統一標度支持。

• 啟用了 GPT2 壓縮，在受支持的模型列表中增加了修剪后的 googlenet-v1。

• 有關功能的詳細信息和完整列表，請參閱 NNCF 發布說明。

訓練后優化工具

• 在 POT 配置中引入了模型預設，特別是 Transformer 模型的預設，使 POT 用戶可以更輕松地量化這些模型。

• 改進了 POT 文檔，包括量化示例。增加了《常見問題解答》文檔。 

• 擴大了模型覆蓋范圍：額外啟用了45 個模型。

深度學習工作臺

• 發行版：深度學習工作臺現在可在英特爾? DevCloud for the Edge 中使用

• 增加了對用于風格遷移、超級分辨率和圖像修復用例的 GAN 模型的支持 

• 增加了以 CSV 格式導出分析實驗結果的功能

OpenCV*

• 將版本更新至 4.5.1。

• 在 VideoCapture API 的 Media SDK (MFX) 后端增加了對寬度/高度屬性的支持。

• G-API：為推理和流 API 增加了更多 CV 運算和Python 綁定，并為媒體格式支持引入了 MediaFrame 數據類型（例如 NV12）。

示例

• 語音樣本命令行參數中的輸入層（用于輸入數據文件）和輸出層（用于輸出和參考文件）順序現在可以使用新的命令行參數（-iname 和 -oname）明確指定。

Open Model Zoo

使用額外的 CNN 預訓練模型和預生成的中間表示 (.xml + .bin) 擴展了 Open Model Zoo：

• bert-large-whole-word-masking-squad-fp32-0001 renamed to bert-large-uncased-whole-word-masking-squad-0001

• bert-small-uncased-whole-word-masking-squad-int8-0002

• bert-small-uncased-whole-word-masking-squad-emb-int8-0001

• formula-recognition-polynomials-handwritten-0001-decoder

• formula-recognition-polynomials-handwritten-0001-encoder

• handwritten-simplified-chinese-recognition-0001

• human-pose-estimation-0002

• human-pose-estimation-0003

• human-pose-estimation-0004

• person-detection-0003

• text-spotting-0003-detector

• text-spotting-0003-recognizer-decoder

• text-spotting-0003-recognizer-encoder

• 替換了 2021.1 模型：

• 已添加新模型：

• 最終模型：

對以下模型的支持擴展了公有模型列表：

用著色模型的 PyTorch 變體來取代該模型的舊的 Caffe 變體。

• 增加了新的演示應用：

• Python gesture_recognition_demo（代替 asl_recognition_demo）

• Python human_pose_estimation_demo（支持新的 human-pose-estimation-0002/3/4 模型）

• Python image_translation_demo

• Python text to speech demo

• Python object_detection_demo（代替 object_detection_demo_centernet、object_detection_demo_faceboxes、object_detection_demo_retinaface、object_detection_demo_ssd_async 和 object_detection_demo_yolov3_async）

• C++ object_detection_demo（替換 object_detection_demo_ssd_async 和 object_detection_demo_yolov3_async）

• 移除了已廢棄的 object_detection_demo_faster_rcnn。

• Open Model Zoo 工具：

• 通過支持自定義預轉化腳本擴展了 Model Converter，簡化了非凍結模型圖的轉化。

• 通過覆蓋新的任務（基于圖像的定位、顯著圖檢測、光流估計、DNA 測序），擴展了 Accuracy Checker。

• 增加了在 Accuracy Checker 中設置輸入精度和獲取中間指標結果的命令行選項。

• 改進了在 Accuracy Checker 中對 GAN 模型的處理，擴展了后處理，增加了新的指標（Inception Score 和 Frechet Inception Distance）。

• 需要使用 Tensorflow 2.3 轉換 efficientdet-d0/d1 模型。

深度學習流媒體播放器

• 直接支持 ONNX 模型：DL Streamer gvadetect、gvaclassify 和 gvainference 元素現在將支持 CPU 上的 OpenVINO? 推理引擎支持的 ONNX 模型，無需轉換為中間表示 (IR) 格式。

• 基于全幀和 ROI 的推理：對于連續檢測和全幀分類等用例，在 gvadetect、gvaclassify 和 gvainference 元素中增加的新屬性 'inference-region' 將使開發人員能夠在全幀或 ROI（感興趣區域）上運行推理。

• 無圖像對象跟蹤：在 gvatrack 中引入兩個新算法 'short-term imageless' 和 'zero-term imageless'，將能在不訪問圖像數據的情況下跟蹤對象。 

• Docker 文件更新：使用 DL Streamer GitHub 中的 Docker 文件創建的文件夾結構與 OpenVINO? 在 DockerHub* 上發布的 Docker 映像一致。無論選擇哪種發行方式（OpenVINO Installer、OpenVINO Docker 映像、DL Streamer Docker 文件、從源構建），開發人員現在都可以按照相同的說明和準則使用 DL Streamer。

有關 DL Streamer 的更多信息，請參閱位于 GitHub 上的 DL Streamer 開源項目存儲庫“openVINO? 工具套件 - DL Streamer”中的 DL Streamer 教程、API 參考和樣本。還可訪問“DL Streamer 樣本”查看樣本文檔。

OpenVINO? 模型服務器

• 有向無環圖 (DAG) 調度程序 -（以前為 `models ensemble`）該功能首次在 2021.1 版中以預覽版的形式提供。現在它已得到官方支持，從而使定義由響應單個預測請求的多個互聯模型組成的推理管道成為可能。在該版本中，我們增加了對其余 API 調用（預覽版中的 DAG 不支持）的支持，特別是 `GetModelStatus` 和 `GetModelMetadata`。`GetModelStatus` 返回整個管道的狀態，而 GetModelMetadata 返回管道輸入和輸出參數。新的 2021.2 版改進了 DAG 配置驗證。

• 直接導入 ONNX 模型 - 現在可以導入 ONNX 模型，無需轉換為中間表示 (IR) 格式。這有助于利用 ONNX 模型和 PyTorch 訓練框架簡化部署。

• 自定義加載器以及與 OpenVINO? 安全插件的集成 - 現在可以定義自定義庫，用于處理模型加載操作 - 包括與模型解密和許可證驗證有關的額外步驟。要了解有關模型保護的信息，請查看安全插件組件的文檔。

• 流量加密 - 新的部署配置通過 mTLS 證書進行客戶端授權，通過與 Docker 容器中的 NGINX 反向代理集成進行流量加密。 

• 從云存儲進行遠程模型緩存 - 進行需要重新加載模型的配置變更后，不再多次下載存儲在 Google Cloud Storage (GCS)、Amazon S3 和 Azure blob 中的模型。在模型重新加載操作期間，將使用緩存的模型。更改服務的模型時，將僅在模型存儲中添加相應的新版本文件夾。

OpenVINO? 安全插件

該安全插件是一組工具，讓模型開發人員能夠使用 OpenVINO? 模型服務器控制開發后對模型的訪問，并檢查在受控環境中運行期間對模型的訪問。它由定義模型訪問控制的一組開發工具、在將模型加載到模型服務器之前檢查模型許可證的許可服務、位于 OpenVINO? 模型服務器內的可在其中執行訪問受控模型的隔離環境組成。

 安全插件的關鍵功能

• 定義開發后對模型的訪問控制。

• 生成限制模型使用天數的客戶特定許可證。

• 在將模型加載到 OpenVINO? 模型服務器之前檢查許可證的有效性。

• 使用 OpenVINO? 模型服務器，通過 KVM 虛擬機在隔離環境中執行模型。

• 通過 NGINX 控制應用程序對模型的訪問