Rui Qian, Robby T. Tan, Wenhan Yang, Jiajun Su, and Jiaying Liu
CVPR2018
pdf , arXiv , github

어떤 물건?

GAN을 사용하여 이미지에서 빗방울을 제거합니다.
빗방울이 있는 이미지에 따라 빗방울이 없는 이미지를 생성합니다.

선행 연구와의 차이

Generator, Discriminator는 모두(visual)attention을 사용합니다

Generator의 Attentive-Recurrent 네트워크는attention 맵을 생성하고, Contextual Autoencoder는 빗방울 제거 이미지를 생성합니다

기술과 수법의 관건

제안 기법의 전체도.
Generator는 앞부분의 Attentive-Recurrent Network, 뒷부분의 Contextual Autoencoder로 구성되어 있습니다.

Generative Network

Attentive-Recurrent Network에서 빗방울을 나타내는 장소와 Contextual Autoencoder가 주목해야 할 점을 나타내는 Attention 맵을 생성합니다.
Contextual Autoencoder에 빗방울이 있는 이미지와 Attention map을 입력하여 빗방울이 없는 이미지를 생성합니다.

Attentive-Recurrent Network

4개의 블록으로 구성되어 있으며, 각 블록은 5층(5x Residual Block)의 ResNet, LSTM, Convs로 구성되어 있다.
각 블록의 입력은 빗방울이 있는 이미지와 앞에 있는 블록의 Attention map을 입력하는 것입니다.
마스크와 달리 Attention map은 0~1의 값을 가지고 있기 때문에 빗방울 구역 내의 값도 변화하고 빗방울 밖에도 값을 가지며 빗방울 주변에도 Attention을 가질 수 있다.

※ 가공 피규어2
손실은 Attention map 및 마스크의 MSE 합계입니다.
$\theta=0.8$는 할인율입니다.

L_{ATT}(\{A\}, M) = \sum_{t=1}^{N}\theta^{N-t}L_{MSE}(A_t, M)

다음 Attention map(epoch당 $A_{N}$)을 생성합니다.

다음은 각 time step의 Attention map입니다.
step가 겹칠 때마다 빗방울 주위에 더 강한 Attention이 있다.

Contextual Autoencoder

Contextual Autoencoder에서 빗방울이 있는 이미지와 Attention map을 입력합니다.
16개의 conv-relu 블록으로 구성되어 빗방울 제거 이미지를 생성합니다.

※ 가공 피규어2
다음은 Contextual Autoencoder 섹션의 자세한 내용입니다.
손실은 multi-scale losses$L_$및perceptual loss$L_두 개의 P$가 있습니다.

$L_$는 다른 레이어의 출력을 나타냅니다 $S_i$및 해당 배율의 실제 이미지 $T_i$의 MSE 합.
$\lambda$의 가중치는 0.6,0.8,1.0입니다.

L_M(\{S\}, \{T\}) = \sum_{i=1}^{M}\lambda_iL_{MSE}(S_i, T_i)

$L_P$는 Contextual Autoencoder의 출력 이미지 $O$와 실제 이미지 $T$의 VGG 피쳐의 MSE입니다.

L_P(O, T) = L_{MSE}(VGG(O), VGG(T))

Generative 네트워크 전체의 손실은 다음과 같다.

L_G = 10^{-2}L_{GAN}(O) + L_{ATT}(\{A\}, M) + L_M(\{S\}, \{T\}) + L_P(O, T) \\
L_{GAN}(O) = log(1 - D(O))

Discriminative Network

Discriminator는 Attentive discriminator입니다.
부분적인 부분을 주목하고 판별하기 위해 Attention map을 사용합니다.

※ 가공 피규어2
Discriminative Network의 손실은 다음과 같습니다.
$D_{map}$은 Discriminative Network를 통해 2D 매핑을 생성하는 프로세스를 나타냅니다.
$O$는 Contextual Autoencoder의 출력 이미지이고 $R$는 비 없는 이미지 그룹에서 나온 이미지입니다.
$A_N$는 Attention map입니다.

L_{map}(O, R, A_N) = L_{MSE}(D_{map}(O), A_N) + L_{MSE}(D_{map}(R), 0) \\
L_D(O, R, A_N) = -log(D(R)) - log(1 - D(O)) + \gamma L_{map}(O, R, A_N)

유효성 확인 방법

Raindrop Dataset

실험은 배경이 같은 빗방울 이미지와 무빗방울 이미지의 대조를 필요로 한다.
이런 이미지를 찍기 위해 일반(젖지 않은) 렌즈와 물을 뿌리는 렌즈를 교체해 이미지를 만든다.
제작된 Raindrop Dataset은 1119쌍의 이미지 데이터 세트입니다.

Quantitative Evaluation

PSNR은 이미지의 실제 이미지를 생성하는 픽셀 값이 평균적으로 얼마나 변했는지에 따라 평가합니다.
SSIM은 이미지와 실제 이미지 사이의 픽셀 값, 대비도, 구조의 변화를 생성하여 평가한다.
둘 다 고가가 좋다.
PSNR, SSIM 정보

A (autoencoder alone without the attention map)

A+D (non-attentive autoencoder plus non- attentive discriminator)

A+AD (non-attentive autoencoder plus attentive discriminator).

AA+AD (attentive autoencoder plus attentive discriminator, proposed)

제안 방법은 가장 좋은 점수를 주었다.
이로써 Generative, Discriminative 네트워크 쌍방이 Attention 맵을 사용하는 유효성을 알 수 있다.

Qualitative Evaluation

다음은 다른 방법과의 비교입니다.
제시된 방법이 빗방울을 가장 효과적으로 제거할 수 있음을 알 수 있다.

다음은 제안 기법의 요소의 유무에 따라 비교한다.
(b)->(e) 순서대로 빗방울을 더 잘 제거할 수 있다.
Attention map 사용의 유효성도 정성적으로 알고 있습니다.

비교적 상세하게 이미지를 생성하면 소음이 적고 배경 구조를 유지하는 빗방울을 제거할 수 있다는 것을 알 수 있다.

Application

Google Vision API ( https://cloud.google.com/vision/ ) 비교하다.
원본 이미지와 빗방울을 제거한 이미지를 입력하여 식별 결과를 비교합니다.
빗방울을 제거한 후의 이미지 식별 결과가 더욱 좋고 많은 물체를 식별할 수 있다.

다음은test dataset의 모든 이미지의 결과를 정리했습니다.
빗방울을 제거한 후 score가 더욱 높아져 많은 물체를 식별할 수 있다.

논쟁이 있습니까?

Single-image based의 초상화 빗방울 제거 기법

Generative Network는 Attention map을 생성하고 이를 바탕으로 이미지를 생성합니다

Discriminative Network에서도 Attention map을 사용하여 이미지를 판별합니다

다음 논문

로고 생성
Logo Synthesis and Manipulation with Clustered Generative Adversarial Networks