Transformer工業部署落地！超越ResNet、CSWin（附源碼）

論文地址：https://arxiv.org/pdf/2207.05501.pdf

一、總概述

NCB 和 NTB 分別使用新穎的部署友好的多頭卷積注意力 (MHCA) 和輕量級的高低頻信號混合器來增強建模能力。為了進一步提高性能，設計了 Next Hybrid Strategy (NHS)，通過在每個階段以新的混合范式堆疊 NCB 和 NTB，大大降低了 Transformer 塊的比例，并在各種下游任務中最大程度地保留了 Vision Transformer 網絡的高精度。

與現有的基于 CNN 和 ViT 的方法相比，Next-ViT 在延遲/準確性權衡方面表現出優越的性能。實驗結果表明，Next-ViT 在各種下游任務中取得了最先進的結果，包括圖像分類、目標檢測和語義分割。因此，Next-ViT 是一個強大的模型，可以有效地應用于現實工業場景中的各種計算機視覺任務。

二、動機

由于傳統的卷積神經網絡（CNN）和Vision Transformer（ViT）在現實的工業場景中存在一些局限性，因此該論文提出了Next-ViT模型。具體來說，傳統的CNN在處理長序列時缺乏全局性，而ViT雖然具有全局性，但它們的注意力機制復雜，導致計算量大且效率低下。為了克服這些缺點，Next-ViT引入了Next Convolution Block（NCB）和Next Transformer Block（NTB），并設計了Next Hybrid Strategy（NHS）來提高模型的性能。

Next-ViT遵循分層的金字塔體系結構，在每個階段都有一個patch embedding層和一系列的卷積或Transformer blocks。該模型使用MHCA（多頭卷積注意力）來增強建模能力，通過創新的CNN和Transformer架構方式實現高性能和高效率相結合。Next-ViT在各種計算機視覺任務中取得了最先進的結果，包括圖像分類、目標檢測和語義分割。因此，Next-ViT是一個強大的模型，可以有效地應用于現實工業場景中的各種計算機視覺任務。

Next-ViT和高效網絡在精度-延遲權衡方面的比較

三、新框架

按照慣例，Next-ViT遵循分層的金字塔體系結構，在每個階段都有一個patch embedding層和一系列的卷積或Transformer blocks。空間分辨率將逐步降低32×，而通道尺寸將在不同的階段中擴大。

 Next Convolution Block (NCB)

為了展示所提出的NCB的優越性，首先重新審視卷積和Transformer blocks的一些經典結構設計，下圖所示。ResNet提出的BottleNeck塊因其固有的歸納偏差和部署而在視覺神經網絡中長期占據主導地位。大多數硬件平臺的友好特性。

Next Transformer Block (NTB)

雖然通過NCB已經有效地學習了局部表示，但全局信息的捕獲迫切需要解決。Transformer Block具有較強的捕獲低頻信號的能力，從而提供全局信息（例如全局形狀和結構）。然而，相關研究觀察到，Transformer Block可能會在一定程度上惡化高頻信息，如局部紋理信息。不同頻率段的信號在人類視覺系統中是不可缺少的，并將以某種特定的方式融合，提取更基本和明顯的特征。

三、實驗及結果

(a) Fourier spectrum of ResNet, Swin and Next-ViT. (b) Heat maps of the output feature from ResNet, Swin and Next-ViT.