Understanding How Image Quality Affects Deep Neural Networks
이것은 이미지 열화가 Deep Learning을 사용하는 이미지 식별 성능에 얼마나 큰 영향을 미치는지 연구한 논문이다.
많은 컴퓨터 Vision 응용 프로그램들이 비교적 높은 이미지 품질을 입력하기를 원하지만, Surveillance와 Mobile Phone 등에서 낮은 이미지 품질도 고려해야 할 중요한 요소이다.
본고는 4개의 최신 deep neural 네트워크 모델을 대상으로 5개의 열화(Blur, Noise, JPEG, JPEG2000,Contrast) 이미지를 입력할 때의 성능을 조사했다.

Model

Caffe Reference Model

VGG-CNN-S

VGG-16

CoogleNet

Distortion

Blur
Gaussian Blur $\sigma=1~9$, Kernel Size=$4\sigma$

Noise
Gaussian Noise 표준 편차 10~100 각도

Jpeg
Picture Quality 2~202각(20 이상 성능 저하는 크지 않음)

Jpeg2000
PSNR20~402각

Contrast
Gray image를 원화로 하여 Blending 혼합률 0~10.1각

복원 예

Result

결론은 Blur와 Noise의 성능 저하가 비교적 크고 나머지는 영향이 적다는 것이다.
네트워크는 특정한 무늬를 사용하여 Classification을 진행하는데 Blur로 인해 무늬가 사라지면 성능이 악화됩니다.
Noise의 경우 표준 편차가 90이고 성능은 20% 이하이지만 인간이라면 식별할 수 있다.
다음은 각 Distortion의 Accuracy 차트입니다. 가로축이 오른쪽으로 갈수록 악화됩니다.

다음은 각 Distortion의 이미지와 Accuracy

다음은 Distortion이 Blur와 Noise를 시각화한 VGG16의 First Convolutional 레이어와 Last Convolutional 레이어입니다.
Blur의 경우 최초의 층의 차이는 매우 작지만 마지막 층의 차이는 매우 크다.한편, Noise는 최초의 층에 Filter Response가 많아서 뒷부분으로 전파된다.

감상

이미지 품질이 성능에 미치는 영향을 이해하는 것은 실제 응용에서 매우 중요하다.
Codec의 열화는 성능에 큰 영향을 미치지 않는다. 나는 Codec가 이미지의 특징을 잘 보존하고 압축했다고 생각한다.
다만 Distortion마다 가로축이 다르기 때문에 공평한 비교인지 의문이 듭니다.
나는 열화된 이미지로 공부를 시키면 좋겠지만, 그러면 예쁜 이미지의 성능이 떨어지겠지.(실제로는 하지 않았다)
나는 지견으로서 의의가 있다고 생각한다.