NeurIPS 2022｜惡劣圖像質(zhì)量情況下的目標檢測算法

編輯丨極市平臺

• 論文鏈接：https://openreview.net/pdf?id=se2oxj-6Nz
• 源碼鏈接：https://github.com/sunshangquan/ReForDe

圖像質(zhì)量退化在戶外捕捉的數(shù)據(jù)上是很常見的，已有很多算法嘗試恢復(fù)原始數(shù)據(jù)。一般的圖像復(fù)原任務(wù)目標是恢復(fù)人類視覺能識別更好的結(jié)構(gòu)特征和物體。然而很多圖像復(fù)原任務(wù)結(jié)果是用于下游視覺任務(wù)（目標檢測，語義分割，自動駕駛等），然而這領(lǐng)域的研究關(guān)注較少。

目標檢測任務(wù)已經(jīng)取得了很大的成功。然而在常規(guī)的目標檢測數(shù)據(jù)集中，惡劣的天氣條件或較差的成像條件是一般避免或因為數(shù)據(jù)不足難以訓(xùn)練。一般圖像訓(xùn)練得到的檢測器在這些條件下性能嚴重降低。

一種解決方法是從干凈圖像（源域）到受污染圖像（目標域）的域自適應(yīng)算法。假定存在分布間存在分布轉(zhuǎn)移。主要缺點是經(jīng)過域自適應(yīng)后的模型在源域上性能會變差。

另一種解決方法是聯(lián)合訓(xùn)練視覺質(zhì)量增強模塊與目標檢測模塊。主要問題是盡管圖像復(fù)原網(wǎng)絡(luò)取得了人眼看上去令人滿意的結(jié)果，檢測器可能還是服從模型產(chǎn)生的分布而不是真實圖像的分布。另外即使模型在干凈圖像和污染圖像上一起訓(xùn)練，與域自適應(yīng)類似，模型在干凈圖像上性能任然會下降。

本文對之前用于目標檢測的對抗攻擊算法TOG可能存在陷入局部最優(yōu)和收斂慢的問題提出改進，提出一種基于動量ADAM變體的對抗樣本生成算法。本文方法指出找到與原始清晰圖像接近的偽標簽數(shù)據(jù)可能會提升檢測模型性能。本文方法通過有目標的對抗攻擊方法在圖像復(fù)原網(wǎng)絡(luò)生成的圖像添加一個小擾動使得到的復(fù)原圖像更適合檢測器。對抗樣本由最小化檢測器損失函數(shù)得到的梯度獲得，并可以作為圖像復(fù)原模型的偽GT。在權(quán)重微調(diào)階段，只更新圖像復(fù)原模型，目標檢測模型保持不變。

這里定義圖像復(fù)原模型及對應(yīng)參數(shù)和檢測模型及對應(yīng)參數(shù)。給定數(shù)據(jù)集包含三個部分：受污染的圖像，對應(yīng)的干凈圖像和檢測標注。目標是訓(xùn)練圖像復(fù)原模型使復(fù)原后圖像盡可能接近干凈圖像：，另外目標檢測在復(fù)原后圖像上給出正確的檢測結(jié)果：。

不包含檢測模型的圖像復(fù)原任務(wù)的優(yōu)化可以描述為：

與傳統(tǒng)的圖像復(fù)原優(yōu)化不同的是本文目標是在可視化質(zhì)量和復(fù)原圖像檢測性能上尋找一個平衡。則本文的優(yōu)化可以視作為一個多任務(wù)優(yōu)化問題，需要滿足復(fù)原任務(wù)的約束同時減少目標檢測任務(wù)的損失函數(shù)。該優(yōu)化問題可以描述為：

是松弛變量控制與GT允許的距離。由于約束的存在該優(yōu)化問題不容易求解，這里使用對偶函數(shù)并加入對偶變量求解：

根據(jù)對偶理論，將該優(yōu)化轉(zhuǎn)化為：

其中，進一步轉(zhuǎn)化為：

是另一個松弛變量控制目標檢測模型性能。考慮一個與接近的中間變量，優(yōu)化過程另一個表述為：

當(dāng)時，上述兩個優(yōu)化等價。

本文的優(yōu)化可以進一步描述為：

當(dāng)滿足和該優(yōu)化可以視作為一個有目標對抗攻擊問題。

本文的對抗攻擊算法借鑒針對目標檢測的對抗攻擊算法TOG（ Adversarial objectness gradient attacks in real-time object detection systems）。TOG算法中的對抗攻擊由sign函數(shù)與修建（clip）一階損失函數(shù)的導(dǎo)數(shù)得到。

是擾動步長，是允許的最大擾動尺度。本文指出TOG方法容易陷入局部最優(yōu)或收斂慢，提出使用ADAM優(yōu)化器優(yōu)化對抗樣本。ADAM可以自適應(yīng)的通過二階動量更新學(xué)斜率。

最終生成的偽GT用于微調(diào)圖像復(fù)原模型。

本文方法在VOC_fog_train和VOC_dark_train數(shù)據(jù)集上訓(xùn)練，在VOC_fog_test，RTTS數(shù)據(jù)集上測試在有霧圖像性能。在VOC_dark_test，ExDark數(shù)據(jù)集上測試在低光照圖像性能。

YOLOV3檢測器與不同對抗攻擊策略下在有霧圖像實驗結(jié)果：

可以看出干凈圖像和污染圖像檢測性能都有明顯下降，YOLOV3在mAP指標上下降了15%。在加入少量擾動后的有目標對抗攻擊后，YOLOV3性能有了明顯提升。比如在RTTS數(shù)據(jù)集上從42.77%提升到78.50%。另外本文方法與TOG相比取得了更高的檢測性能，大約可以獲得2%到7%的提升。

本文方法可視化比較結(jié)果。三列分別是沒有攻擊的算法，TOG算法與本文算法。第一列是YOLOV3結(jié)果，第二列是Faster RCNN結(jié)果。

低光照條件檢測結(jié)果：

類似地，本文方法在低光照圖像上檢測也能取得更高性能，同時復(fù)原能有接近精度。