ECCV2022 Oral｜ 無需前置條件的自動著色算法

論文過段時間會掛到實驗室主頁上，代碼很快也會開源。實驗室主頁：https://ci.idm.pku.edu.cn/

我們造了一個自動著色的Transformer模型，以color tokens作為輔助，實現了目前最好的著色效果。這里說的color tokens來自于經典工作《colorful image colorization》（CIC）中量化ab color space的思路，我們將每個格子都當做一個token，借助position embedding得到格子之間的位置關系，從而獲得color token的顏色相對關系（離得遠的色差大，否則小），從而設計一系列模塊來引導color token監督著色。這里可視化一下我們的Pipeline，可以看到基本上不需要對transformer結構做太多魔改，只需要依靠我們設計的Luminance-selecting module, Color Attention和Color query等模塊，依靠ab color space中顏色分布的先驗知識，就可以實現好的著色性能。我們的模型不需要任何前置條件（例如目標檢測主要著色物體，或者先用inversion GAN生成個參考圖像），就能生成正確顏色語義和豐富飽和度的圖像。因為沒有前置條件的需求，所以使用場景更廣（例如不受限于檢測器可以檢測的目標的類別，以及GAN可以生成的圖像的類別）。

下面是我們的分數和user study，我們對比了標準的CNN colorization方法，以及Google在ICLR2021提出的第一個colorization transformer，最終性能在所有指標上都打過了他們；我們額外比較了一些熱門的圖像修復算法，但顯然專門為colorization設計的算法性能更優；我們還比較了著名的預訓練模型MAE，并把colorization當做他的一個下游任務來finetune，但他在這個任務上看起來也不是很聰明的樣子。下面展示一些修復老照片的結果然后是一些灰白圖像上色的結果

本文僅做學術分享，如有侵權，請聯系刪文。