OVO：在線蒸餾一次視覺Transformer搜索

論文地址：https://arxiv.org/pdf/2212.13766.pdf

最近，Pure transformers在視覺任務方面顯示出巨大的潛力。然而，它們在中小數據集中的準確性并不令人滿意。盡管一些現有方法引入了CNN作為教師，通過蒸餾來指導訓練過程，但教師和學生網絡之間的差距將導致次優績效。在這項工作中，研究員提出了一種新的具有在線蒸餾的One-shot Vision transformer搜索框架，即OVO。OVO對教師和學生網絡的子網進行采樣，以獲得更好的蒸餾結果。得益于在線蒸餾，超網中的數千個子網訓練有素，無需額外的微調或再訓練。在實驗中，OVO Ti在ImageNet和CIFAR-100上分別達到73.32%和75.2%的top-1精度。

二、ViT超網訓練的困境

在AutoFormer中的超網訓練期間，在每個訓練迭代中均勻地采樣子網α=（α（1）。。。α（i）。。。α（l））。采樣權重w=（w（1）。。。w（i）。。。w（l））被更新，而其余部分被凍結。然而，超網訓練對于ViT來說并不穩定，每個超網需要很長的訓練周期（500個周期）才能獲得其組裝子網的滿意性能。其他方法使用三明治采樣策略，對多個子網絡（包括最大、最小和兩個隨機選擇）進行采樣，然后將每個小批次的梯度聚集在一起。當采用三明治采樣策略時，超網訓練的計算成本更高。

三、超網在線蒸餾訓練

當訓練教師和學生網絡時，研究者在[Single path one-shot neural architecture search with uniform sampling]中提出的每次迭代中更新一個隨機采樣的子網絡。使用GT標簽訓練來自教師超網絡的子網絡，同時使用KD訓練采樣的學生網絡。配備在線蒸餾，一次性NAS能夠以高效和有效的方式搜索Transform架構。與經典的一次性NAS方法相比，新提出的方法有兩個優點。1） 更快的收斂。來自CNN的知識提供了電感偏置，這有助于每個Transform塊比之前的獨立訓練更快地收斂。2） 更好的子網性能。通過在線蒸餾訓練的子網可以在中小數據集上獲得更好的性能。

四、Search Pipeline

在超網完成訓練后，進行進化搜索，以最大化分類精度選擇子網絡。在進化搜索開始時，隨機抽取N個架構作為種子。所有子網絡都基于從超網繼承的權重在驗證數據集上進行評估。選擇前k個架構作為父代，通過交叉和變異生成下一代。對于交叉，兩個隨機選擇的父網絡交叉，以在每一代中產生一個新網絡。當進行突變時，父網絡首先以概率Pd對其深度進行突變，然后以概率Pm對每個塊進行突變，以產生新的架構。

五、實驗

將搜索到的最優模型的性能與ImageNet上最先進的CNN和ViT的性能進行了比較。在ImageNet-1K上訓練OVO的超集合，并使用指定的參數大小搜索目標Transform模型。在超網完成訓練后，子網直接繼承權重，而無需額外的再訓練和其他后處理。下表中報告了性能。很明顯，OVO比其他最先進的模型具有更高的精度。