【伯克利博士論文】高效、可擴展的視覺識別神經體系結構

來源：專知

ConvNets和其他神經體系結構在計算機視覺方面的成功應用是過去十年人工智能革命的核心。對于可擴展視覺架構的強烈需求是既小又大。小型模型代表了對效率的需求，因為視覺識別系統通常部署在邊緣設備上;大型模型強調了對可擴展性的追求——利用日益豐富的計算和數據實現更高精度的能力。這兩個方向的研究都是卓有成效的，產生了許多有用的設計原則，對更多性能模型的追求從未停止。同時，文獻中非常快的發展速度有時會掩蓋某些方法取得良好結果的主要機制。在本論文中，我們將從兩個方面展開研究:(1)開發高效靈活的ConvNet模型推理直觀算法;(2)研究基線方法，揭示流行可擴展方法成功背后的原因。首先，我們將介紹我們對第一個隨時密集預測算法之一的工作。然后，我們將通過將模型修剪算法與一個極其簡單的基線進行比較來檢驗它們的有效性，并論證它們的真正價值可能在于學習架構。最后，通過采用《Transformers》中的設計技術對傳統的ConvNet進行現代化改造，我們提出了關于自注意力是否導致了Transformer最近出色的視覺擴展性的問題。

https://www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-205.html

深度學習的基本原理[103]可以追溯到幾十年前，20世紀80年代提出了基于梯度的反向傳播學習算法[151]，而ConvNets從早期就被應用于手寫數字識別等計算機視覺任務[105]。然而，深度學習的真正威力直到2012年才被揭示出來，那年AlexNet[99]贏得了ImageNet大規模圖像分類挑戰賽[34]。數據可用性的提高[34,110]、計算技術的進步[124,134]和改進的算法[64,181,95]是深度學習在各個應用領域持續成功的三大支柱[93,159]。隨著最近大型模型的興起，這一領域的快速發展還沒有顯示出放緩的跡象[13,144]。

深度學習不僅對我們的日常生活產生了顯著的影響，還改變了機器學習從業者和研究人員的工作流程——社區已經從使用手工制作的淺層模型特征[123,32](如SVM[27])，轉向使用多層深度神經網絡自動提取特征表示。手工制作的特性通常是高度特定于任務的，而且不能一般化，設計它們的過程通常很乏味。這種轉變極大地解放了研究人員的雙手和思想，允許他們更多地專注于建模方面。

自動表示學習的前景令人鼓舞，但實際情況并非如此光明。在實踐中，網絡結構對學習到的表征的質量有很大的影響。當網絡在各種下游任務上進行微調時，學習表征的質量也會傳播到準確性。因此，設計正確的神經網絡架構現在是至關重要的，因此人類的任務是設計架構，而不是功能。在計算機視覺中，經典的AlexNet是一個復雜的手工設計卷積神經網絡的例子——層、內核大小、特征映射大小、深度、寬度和其他配置都是由人類精心選擇和平衡的。從那時起，各種各樣的神經網絡架構被提出，不僅本身作為特征提取器有用，而且帶來了新的設計原則。VGGNet[161]填充了3 × 3內核卷積的使用，是同構網絡設計的先驅例子。ResNet[64]引入了剩余連接，使數百層的訓練網絡成為可能。Transformers [181,39]采用多頭自注意力作為一種新的網絡內部信息交換方式，在大規模訓練中表現優異。神經體系結構搜索方法[2189]試圖實現神經體系結構設計的自動化，同時從人類設計的網絡中借鑒搜索空間設計的智慧[141]。這一領域的不斷創新，加上其他訓練技術，已經將ImageNet上排名前1的圖像分類精度從AlexNet的62.5%提高到現在的近90%。在架構設計的各種目標中，效率和可擴展是兩個重要的概念。

這兩個方向的研究進展都是卓有成效的，許多有用的架構設計原則被后來的工作所采用。這是一段非凡的旅程，該領域仍在以驚人的速度發展。同時，部分由于在實驗中有太多詳細的設計選擇和超參數，在性能基準上進行系統范圍的比較是很常見的，研究人員可以選擇有利的配置，并為他們的方法配備額外的技術。這可能導致無法確定實證收益的來源[112]。基線方法有時沒有被充分地調整或調整，導致我們無法理解所提議的方法的真正有效性。在本論文中，除了提出一種新的高效架構框架外，我們還采取了批判性的視角，對那些被認為是瑣碎或過時的基線的方法或模型進行了實證研究。我們發現，當提供正確的技術時，它們具有驚人的競爭力。這使我們對某些新方法的潛在機制有了更深入的理解，并幫助我們更公平、更準確地評價它們的有效性。