英特爾張宇：軟硬結合創新助力邊緣智能應用落地

人工智能的發展一次又一次打破了人們對技術的認知。隨著行業數字化轉型，人們對于敏捷連接，實施的業務以及應用的智能等方面的訴求，推動了邊緣人工智能的發展。相比于火熱的大模型，張宇博士坦言，邊緣人工智能目前絕大部分的應用還處于邊緣推理階段。利用大量數據以及極大算力在數據中心訓練一個模型，把訓練的結果推送到前端去執行一個推理操作，這是目前絕大部分在邊緣實現人工智能的使用模式。這種模式不可避免會限制模型更新頻率，但是很多智能行業對模型的更新實際上是有訴求的。

張宇博士認為人工智能發展的第二個階段應該是邊緣訓練階段，但是邊緣訓練并不是把數據中心的訓練方法照搬到邊緣來進行實現。因為在邊緣來實現訓練，有很多特定問題和特定挑戰需要解決。比如在智能制造領域或者是在自動駕駛領域實現邊緣訓練，執行這些操作的人員往往是產線工人或汽車駕駛人員。這些人員往往沒有人工智能經驗，同時也沒有精力幫你做人工智能操作。

邊緣人工智能的發展，從歷史上來看，它應該發展成三個階段：第一個階段是邊緣推理，第二個階段是邊緣訓練，第三個階段是邊緣的自主機器學習。邊緣人工智能的發展實際上面臨著眾多的挑戰，除了前面提到的有關邊緣訓練的挑戰以外，還有邊緣設備面臨的挑戰。由于提供的算力所能夠承載的功耗往往是有限的，所以如何在有限資源的情況下去實現邊緣的推理及訓練，這對芯片的性能、功耗比提出了更高的要求。另外，邊緣設備的碎片化非常明顯，如何利用軟件很好地實現在不同平臺之間的遷移，實際上也提出了更多要求。

張宇直言，如果我們要邊緣實現邊緣訓練，就需要有更加自動化的手段和工具去完成從數據標注到模型的訓練，以及模型部署一整套完整的開發流程。他認為邊緣人工智能下一步的發展方向應該是自主學習階段，也就是邊緣的auto machine learning。作為自主學習，人工智能應該能夠感知人的意圖。根據人的意圖，它能夠設計一個合理的網絡模型結構，或選取一個合理的人工智能網絡模型，然后自主選擇相應訓練數據集進行訓練，再把訓練結果自主推送到前端去執行相應推理操作，完成一整套自主化的過程。

人工智能的發展離不開算力，離不開數據，其實數據的背后又離不開通信技術以及存儲技術。應該說推動本輪人工智能發展最核心的要素，實際上是計算、通訊和存儲技術的不斷提升。張宇博士介紹，英特爾作為一家數據公司，產品恰恰涵蓋了計算、通訊和存儲的各個方面。在計算方面，英特爾提供的是包括CPU、GPU、FPGA和各種人工智能加速芯片在內的多種產品，來滿足用戶對于算力的不同要求。在硬件方面，考慮到邊緣人工智能對于算力、功耗、安全的不同要求，英特爾所采取的思路是同時推動通用處理器和通用GPU并舉的方案。在前端方面，我們會根據不同場景的要求選擇不同的產品組合，包括獨立顯卡、集成顯卡、CPU以及Habana。

英特爾有不同的計算資源可供用戶使用，但這需要考慮資源分配和調度問題。對于資源調度，需要一個統一的API接口，否則不同的資源調度都需要不同的接口，這是不經濟的。因此，英特爾正在考慮如何在異構平臺上合理分配負載，以進行人工智能處理。在底層方面，英特爾采用了OneAPI的思路，它基于DPC++編程模式，利用OneAPI提供的優化庫，在英特爾硬件平臺上高效調用底層資源。這是英特爾在底層方面的戰略，并且是我們目前一直在進行的工作。

在上層調度方面，我們首先需要考慮資源分配的問題。對于大模型的訓練，不同的應用有不同的算法模型和算力要求，因此我們不能使用至強處理器來進行訓練。目前，我們主要推薦使用專門為大模型訓練設計的Habana Gaudi 2。在最近的MLCommons公開的AI評測中，只有英特爾和另一家友商展示了在大模型訓練方面的良好性能，其中英特爾是其中之一。我們計劃不久將其引入中國，并發布相關活動，這對英特爾來說非常重要。

在軟件推理方面，英特爾提供的OpenVINO深度學習的部署工具套件，可以將開發人員在開放的人工智能框架上所設計和訓練好的網絡模型交給OpenVINO，它可以幫助開發人員完成從建模到優化到部署的開發過程。在建模方面，OpenVINO提供三百多個預訓練好的網絡模型。開發人員可以在模型基礎之上直接進行應用的開發，或者在這些模型之上進行二次訓練，加速模型的構建速度。在優化方面，OpenVINO使用的是網絡壓縮的技術，能夠將模型在保證精度的情況下進行簡化。其實網絡壓縮是一個很大的概念，里面包含了若干技術。除了量化的技術以外，還包括低比特等一系列的技術。在訓練完成后，將訓練結果傳遞給OpenVINO進行硬件平臺的適配。在OpenVINO的新版本中，它提供了Auto插件，用戶只需告訴OpenVINO自己關注的性能指標，如延遲或吞吐量，OpenVINO就能夠自動探測硬件類型并進行硬件配置，將工作負載下發到相應的硬件上執行人工智能操作。因此，我們希望通過OpenVINO來處理調度問題。

在調度之前，我們需要進行模型壓縮。壓縮不是普通的壓縮，而是根據使用場景、行業和關注特征等進行有針對性的優化，以便于使用OpenVINO進行部署和分配硬件負載。因此，在底層方面，我們采用OneAPI來進行統一，而在推理方面，我們將利用OpenVINO來進行負載的分配。對于大模型的訓練，我們將使用Habana Gaudi 2來完成。