ECCV2022 Oral｜ 無需前置條件的自動(dòng)著色算法

論文過段時(shí)間會(huì)掛到實(shí)驗(yàn)室主頁上，代碼很快也會(huì)開源。實(shí)驗(yàn)室主頁：https://ci.idm.pku.edu.cn/

我們?cè)炝艘粋€(gè)自動(dòng)著色的Transformer模型，以color tokens作為輔助，實(shí)現(xiàn)了目前最好的著色效果。這里說的color tokens來自于經(jīng)典工作《colorful image colorization》（CIC）中量化ab color space的思路，我們將每個(gè)格子都當(dāng)做一個(gè)token，借助position embedding得到格子之間的位置關(guān)系，從而獲得color token的顏色相對(duì)關(guān)系（離得遠(yuǎn)的色差大，否則?。瑥亩O(shè)計(jì)一系列模塊來引導(dǎo)color token監(jiān)督著色。這里可視化一下我們的Pipeline，可以看到基本上不需要對(duì)transformer結(jié)構(gòu)做太多魔改，只需要依靠我們?cè)O(shè)計(jì)的Luminance-selecting module, Color Attention和Color query等模塊，依靠ab color space中顏色分布的先驗(yàn)知識(shí)，就可以實(shí)現(xiàn)好的著色性能。我們的模型不需要任何前置條件（例如目標(biāo)檢測(cè)主要著色物體，或者先用inversion GAN生成個(gè)參考圖像），就能生成正確顏色語義和豐富飽和度的圖像。因?yàn)闆]有前置條件的需求，所以使用場(chǎng)景更廣（例如不受限于檢測(cè)器可以檢測(cè)的目標(biāo)的類別，以及GAN可以生成的圖像的類別）。

下面是我們的分?jǐn)?shù)和user study，我們對(duì)比了標(biāo)準(zhǔn)的CNN colorization方法，以及Google在ICLR2021提出的第一個(gè)colorization transformer，最終性能在所有指標(biāo)上都打過了他們；我們額外比較了一些熱門的圖像修復(fù)算法，但顯然專門為colorization設(shè)計(jì)的算法性能更優(yōu)；我們還比較了著名的預(yù)訓(xùn)練模型MAE，并把colorization當(dāng)做他的一個(gè)下游任務(wù)來finetune，但他在這個(gè)任務(wù)上看起來也不是很聰明的樣子。下面展示一些修復(fù)老照片的結(jié)果然后是一些灰白圖像上色的結(jié)果

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。