為什么最新AI模型并不總能最適合邊緣AI

當(dāng)您準(zhǔn)備在家度過一個放松的夜晚時，您可能會要求您的智能手機(jī)播放您最喜歡的歌曲或告訴您的家庭助理調(diào)暗燈光。這些任務(wù)感覺很簡單，因?yàn)樗鼈兪怯扇斯ぶ悄?（AI） 提供支持的，人工智能 （AI） 現(xiàn)在已融入我們的日常生活。這些流暢交互的核心是邊緣人工智能——直接在智能手機(jī)、可穿戴設(shè)備和物聯(lián)網(wǎng)設(shè)備等設(shè)備上運(yùn)行的人工智能，提供即時、直觀的響應(yīng)。

什么是邊緣人工智能？

邊緣AI是指將AI算法直接部署在網(wǎng)絡(luò)“邊緣”的設(shè)備上，而不是依賴中心化的云數(shù)據(jù)中心。這種方法利用邊緣設(shè)備（例如筆記本電腦、智能手機(jī)、智能手表和家用電器）的處理能力在本地做出決策。

邊緣人工智能為隱私和安全提供了關(guān)鍵優(yōu)勢：通過最大限度地減少通過互聯(lián)網(wǎng)傳輸敏感數(shù)據(jù)的需要，邊緣人工智能降低了數(shù)據(jù)泄露的風(fēng)險。它還提高了數(shù)據(jù)處理和決策的速度，這對于醫(yī)療保健可穿戴設(shè)備、工業(yè)自動化、增強(qiáng)現(xiàn)實(shí)和游戲等實(shí)時應(yīng)用至關(guān)重要。邊緣人工智能甚至可以在連接間歇性的環(huán)境中運(yùn)行，以有限的維護(hù)支持自主性并降低數(shù)據(jù)傳輸成本。

雖然人工智能現(xiàn)在已集成到許多設(shè)備中，但在日常設(shè)備中啟用強(qiáng)大的人工智能功能在技術(shù)上具有挑戰(zhàn)性。邊緣設(shè)備在處理能力、內(nèi)存和電池壽命的嚴(yán)格限制下運(yùn)行，在適度的硬件規(guī)格內(nèi)執(zhí)行復(fù)雜的任務(wù)。

例如，智能手機(jī)要執(zhí)行復(fù)雜的面部識別，必須使用尖端的優(yōu)化算法在幾毫秒內(nèi)分析圖像并匹配特征。耳塞上的實(shí)時翻譯需要保持低能耗，以確保延長電池壽命。雖然基于云的 AI 模型可以依賴具有廣泛計(jì)算能力的外部服務(wù)器，但邊緣設(shè)備必須湊合使用手頭的東西。這種向邊緣處理的轉(zhuǎn)變從根本上改變了人工智能模型的開發(fā)、優(yōu)化和部署方式。

幕后花樣：針對邊緣優(yōu)化人工智能

能夠在邊緣設(shè)備上高效運(yùn)行的 AI 模型需要大幅減小大小和計(jì)算能力，同時保持類似的可靠結(jié)果。這個過程通常稱為模型壓縮，涉及神經(jīng)架構(gòu)搜索 （NAS）、遷移學(xué)習(xí)、修剪和量化等高級算法。

模型優(yōu)化應(yīng)首先選擇或設(shè)計(jì)專門適合設(shè)備硬件功能的模型架構(gòu)，然后對其進(jìn)行優(yōu)化以在特定邊緣設(shè)備上高效運(yùn)行。NAS 技術(shù)使用搜索算法來探索許多可能的 AI 模型，并找到最適合邊緣設(shè)備上特定任務(wù)的模型。遷移學(xué)習(xí)技術(shù)使用已訓(xùn)練的較大模型（教師）訓(xùn)練小得多的模型（學(xué)生）。修剪涉及消除不會顯著影響準(zhǔn)確性的冗余參數(shù)，量化將模型轉(zhuǎn)換為使用較低精度的算術(shù)來節(jié)省計(jì)算和內(nèi)存使用。

在將最新的 AI 模型引入邊緣設(shè)備時，人們很容易只關(guān)注它們執(zhí)行基本計(jì)算的效率，特別是“乘法累加”運(yùn)算或 MAC。簡單來說，MAC 效率衡量的是芯片完成 AI 核心數(shù)學(xué)運(yùn)算的速度：將數(shù)字相乘并相加。模型開發(fā)人員可以獲得“MAC 隧道視野”，專注于該指標(biāo)而忽略其他重要因素。

一些最流行的 AI 模型（如 MobileNet、EfficientNet 和用于視覺應(yīng)用的 transformers）旨在在這些計(jì)算中非常高效。但在實(shí)踐中，這些模型并不總是在我們手機(jī)或智能手表內(nèi)的 AI 芯片上運(yùn)行良好。這是因?yàn)閷?shí)際性能不僅取決于數(shù)學(xué)速度，還取決于數(shù)據(jù)在設(shè)備內(nèi)部移動的速度。如果模型需要不斷從內(nèi)存中獲取數(shù)據(jù)，那么無論計(jì)算速度有多快，它都會減慢所有速度。

令人驚訝的是，像 ResNet 這樣較舊、體積更大的型號有時在當(dāng)今的設(shè)備上效果更好。它們可能不是最新或最精簡的，但內(nèi)存和處理之間的來回更適合 AI 處理器規(guī)格。在實(shí)際測試中，這些經(jīng)典型號在邊緣設(shè)備上提供了更好的速度和準(zhǔn)確性，即使在經(jīng)過修剪以適應(yīng)之后也是如此。

教訓(xùn)？“最好”的人工智能模型并不總是具有最華麗的新設(shè)計(jì)或最高的理論效率的模型。對于邊緣設(shè)備來說，最重要的是模型與其實(shí)際運(yùn)行的硬件的契合程度。

而且這種硬件也在迅速發(fā)展。為了滿足現(xiàn)代人工智能的需求，設(shè)備制造商已開始在智能手機(jī)、智能手表、可穿戴設(shè)備等中加入稱為人工智能加速器的特殊專用芯片。這些加速器是專門為處理 AI 模型所需的計(jì)算和數(shù)據(jù)移動而構(gòu)建的。每年都會在架構(gòu)、制造和集成方面取得進(jìn)步，確保硬件跟上人工智能趨勢。

邊緣人工智能的未來之路

由于生態(tài)系統(tǒng)的碎片化性質(zhì)，在邊緣設(shè)備上部署人工智能模型變得更加復(fù)雜。由于許多應(yīng)用程序需要自定義模型和特定硬件，因此缺乏標(biāo)準(zhǔn)化。需要的是高效的開發(fā)工具來簡化邊緣應(yīng)用程序的機(jī)器學(xué)習(xí)生命周期。此類工具應(yīng)該使開發(fā)人員更容易針對實(shí)際性能、功耗和延遲進(jìn)行優(yōu)化。

設(shè)備制造商和人工智能開發(fā)人員之間的合作正在縮小工程和用戶交互之間的差距。新興趨勢側(cè)重于上下文感知和自適應(yīng)學(xué)習(xí)，使設(shè)備能夠更自然地預(yù)測和響應(yīng)用戶需求。通過利用環(huán)境線索和觀察用戶習(xí)慣，邊緣人工智能可以提供直觀且個性化的響應(yīng)。本地化和定制化的智能將改變我們對技術(shù)和世界的體驗(yàn)。