ECCV 2022 | 適用于分類，檢測，分割的生成式知識蒸餾開源

作者丨美索不達米亞平原@知乎 （已授權）

來源丨https://zhuanlan.zhihu.com/p/539496128編輯丨極市平臺

導讀

 

本文主要介紹ECCV 2022關于知識蒸餾的工作: Masked Generative Distillation。該方法在圖像分類和密集預測的實驗中，其學生模型均獲得大幅提升。

文章鏈接：https://arxiv.org/abs/2205.01529代碼鏈接：https://github.com/yzd-v/MGD

一、簡介

知識蒸餾主要可以分為logit蒸餾和feature蒸餾。其中feature蒸餾具有更好的拓展性，已經在很多視覺任務中得到了應用。但由于不同任務的模型結構差異，許多feature蒸餾方法是針對某個特定任務設計的。之前的知識蒸餾方法著力于使學生去模仿更強的教師的特征，以使學生特征具有更強的表征能力。我們認為提升學生的表征能力并不一定需要通過直接模仿教師實現。從這點出發，我們把模仿任務修改成了生成任務：讓學生憑借自己較弱的特征去生成教師較強的特征。在蒸餾過程中，我們對學生特征進行了隨機mask，強制學生僅用自己的部分特征去生成教師的所有特征，以提升學生的表征能力。為了證明MGD并不是通過模仿教師來提升學生，我們對學生和教師的特征圖進行了可視化。可以看到，蒸餾前的學生與教師的注意力相差很大。在使用FGD蒸餾（模仿教師）后，學生的注意力和教師變得很接近，表現也得到了較大的提升。但當使用MGD蒸餾后，學生與教師差異很大，學生對于背景的響應大幅減小，對于目標的響應得到了增強，學生的最終表現也好于FGD蒸餾。

二、整體框架

MGD是在feature層面的蒸餾，可以很方便地被應用到不同任務，如分類，檢測與語義分割。

三、實驗結果1. 圖像分類

我們首先在圖像分類任務上進行實驗，在pixel層面進行隨機mask，學生模型在ImageNet上獲得了有效的提升。并且可以和logit蒸餾進行疊加，進一步提升學生模型。對于分類任務而言，常常會對特征進行pixel層面的池化，模型對于channel維度更加敏感。所以我們還在channel維度進行了隨機mask，學生模型可以獲得更大的提升，在feature蒸餾方法中實現了sota。

2. 密集預測

我們也將MGD應用到了目標檢測，實例分割與語義分割任務上，分別在COCO和CityScapes進行實驗，學生模型均獲得了大幅的提升。

四、分析

為了進一步證明MGD通過生成的方法提升學生的表征能力，我們在分類任務上與直接模仿教師的方法進行了對比。此處蒸餾使用直接訓練得到的學生模型作為老師，可以看到，即便是學生自己作為老師，MGD也能為學生帶來有效的提升，而直接模仿教師對于學生的提升非常小。

五、代碼與更多蒸餾

我們已將代碼開源：https://github.com/yzd-v/MGD開源代碼中放了蒸餾的學生模型和訓練log。三種任務的代碼均基于MMLab的工具實現，易于復現，MGD僅有兩個超參，方便自由組合學生與教師進行蒸餾。

*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。