華為CVPR2021 | 加法網(wǎng)絡(luò)應(yīng)用于圖像超分辨率

CVPR2021已經(jīng)很多好的paper被公布，比如騰訊的20篇好文，后期我們也會(huì)詳細(xì)給大家分析，如果有機(jī)會(huì)還會(huì)分享代碼的整體運(yùn)行講解。

今天我們要說的也是CVPR2021的一個(gè)優(yōu)秀paper，華為技術(shù)產(chǎn)出的，其主要利用加法神經(jīng)網(wǎng)絡(luò)(AdderNet)-加法網(wǎng)絡(luò)用于檢測(cè)，研究了單幅圖像超分辨率問題。 與卷積神經(jīng)網(wǎng)絡(luò)相比，AdderNet利用加法計(jì)算輸出特征，避免了傳統(tǒng)乘法的大量能量消耗。

1、前言摘要

 然而，由于計(jì)算范式的不同，很難將AdderNet在大規(guī)模圖像分類上的現(xiàn)有成功直接繼承到圖像超分辨率任務(wù)中。具體來說，加法器操作不容易學(xué)習(xí)標(biāo)識(shí)映射，這對(duì)于圖像處理任務(wù)是必不可少的。此外，AdderNet無法保證高通濾波器的功能。

為此，研究員深入分析了加法器操作與標(biāo)識(shí)映射之間的關(guān)系，并插入快捷方式，以提高使用加法器網(wǎng)絡(luò)的SR模型的性能。然后，研究員開發(fā)了一個(gè)可學(xué)習(xí)的power activation，以調(diào)整特征分布和細(xì)化細(xì)節(jié)。在幾個(gè)基準(zhǔn)模型和數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，使用加法網(wǎng)絡(luò)的圖像超分辨率模型可以實(shí)現(xiàn)與其CNN基線相當(dāng)?shù)男阅芎鸵曈X質(zhì)量，并使能耗降低約2×。

2、相關(guān)領(lǐng)域及回顧

AdderNet

加法網(wǎng)絡(luò)，“計(jì)算機(jī)視覺研究院”平臺(tái)之前就詳細(xì)分析了，并且移植到目標(biāo)檢測(cè)，具體鏈接如下：

CVPR2020最佳目標(biāo)檢測(cè) | AdderNet（加法網(wǎng)絡(luò)）含論文及源碼鏈接

代碼實(shí)踐 | CVPR2020——AdderNet（加法網(wǎng)絡(luò)）遷移到檢測(cè)網(wǎng)絡(luò)（代碼分享）

現(xiàn)有的有效超分辨率方法旨在減少模型的參數(shù)或計(jì)算量。最近，[Hanting Chen, Yunhe Wang, Chunjing Xu, Boxin Shi, Chao Xu, Qi Tian, and Chang Xu. Addernet: Do we really need multiplications in deep learning? In CVPR, 2020]開創(chuàng)了一種新的方法，通過用加法運(yùn)算代替乘法來減少網(wǎng)絡(luò)的功耗。它在卷積層中沒有任何乘法，在分類任務(wù)上實(shí)現(xiàn)了邊際精度損失。本此研究旨在提高加法網(wǎng)絡(luò)在超分辨率任務(wù)中的性能。

Preliminaries and Motivation

在這里，我們首先簡要介紹了使用深度學(xué)習(xí)方法的單個(gè)圖像超分辨率任務(wù)，然后討論了直接使用AdderNet構(gòu)建節(jié)能SR模型的困難?，F(xiàn)有的超分辨率方法大致可分為三類：interpolation based methods,dictionary-based methods和deep learning based methods。在過去的十年里，由于其顯著的表現(xiàn)，注意力已經(jīng)轉(zhuǎn)移到深度學(xué)習(xí)方法上。[Chao Dong, Chen Change Loy, Kaiming He, and Xiaoou Tang. Learning a deep convolutional network for image super-resolution. In ECCV, pages 184–199, 2014]首先引入了深度學(xué)習(xí)方法來實(shí)現(xiàn)超分辨率，并取得了比傳統(tǒng)方法更好的性能。conventional SISR任務(wù)的總體目標(biāo)函數(shù)可以表述為：

盡管下面公式顯示了類似的性能，在上面公式定義了SISR問題。與傳統(tǒng)的識(shí)別任務(wù)有很大的不同。例如，我們需要確保輸出結(jié)果保持X(即Iy)中的原始紋理，這是下面公式不容易學(xué)習(xí)的。因此，我們應(yīng)該設(shè)計(jì)一個(gè)新的AdderNet框架來構(gòu)建節(jié)能SISR模型。

3、AdderNet for Image Super-Resolution

Learning Identity Mapping using AdderNet

然后選擇每個(gè)元素的合適值：

Learnable Power Activation

除了標(biāo)識(shí)映射外，傳統(tǒng)卷積濾波器還有另一個(gè)重要的功能，不能很容易地通過加法濾波器來保證。SISR模型的目標(biāo)是增強(qiáng)輸入低分辨率圖像的細(xì)節(jié)，包括顏色和紋理信息。因此，在現(xiàn)有的SISR模型中，高通濾波器也是一個(gè)非常重要的組成部分?？梢栽谙聢D中找到，當(dāng)網(wǎng)絡(luò)深度增加時(shí)，輸入圖像的細(xì)節(jié)逐漸增強(qiáng)。

4、實(shí)驗(yàn)

一種具有不同策略的AdderSR網(wǎng)絡(luò)中加法層的輸出特征圖

[14]:Jiwon Kim, Jung Kwon Lee, and Kyoung Mu Lee. Accurate image super-resolution using very deep convolutional networks. In CVPR, pages 1646–1654, 2016.

AdderSR Network and CNN on ×3 scale超分辨率圖像可視化