개요

논문 메모 시리즈의 제2탄입니다.
이번 읽은 것은 Video Super-Resolution via Deep Draft-Ensemble Learning (2015) 이라는 논문에서 동화 초해상 처리에 처음 Deep Learning을 이용한 수법입니다.
어느 쪽인가 하면 정렬 처리에 의한 초해상에 가까운 것 같은 생각은 합니다만, 이 위치 맞춤을 Deep Learning에서 실시하고 있는, 같은 이미지라고 파악하기 쉬운 생각이 듭니다.
그래서, 동화상에도 적응시켜 보면 좋은 결과가 나온, 쪽이 가까울까라고 생각합니다. (완전히 자신의 해석이지만 ...)

그건 그렇고, 나중에이 모델을 참고로 만든 프로그램의 기사도 씁니다.
(SR Draft당은 끝이 접거나 여러가지 바뀌고 있으므로 참고가 될지는 불명합니다만...)

구현 한 기사는 여기 → 초해상 수법/DeepSR을 참고로 한 실장

목차

연구의 출발점

고해상도화의 흐름

SR Draft 생성

모델 개요

결과

지식, 기여

참고 문헌

1. 연구의 출발점

・기존의 초해상 수법에서는, 자연 현상과 같은 현실 세계 특유의 장면의 초해상을 할 수 없다.
・Deep Learning을 이용한 동화상 초해상 수법이 존재하지 않는다.
(2021년 현재는 다수 존재하고 있지만, 이 논문이 나온 2015년은 아직 존재하지 않았다.)
・SR Draft(SR 화상의 후보)와 CNN을 맞추는 것으로 고정밀도 화상을 출력할 수 있는 것은? 라는 저자의 생각.
(SR : Super-Resolution, 초해상도)

2. 고해상도화의 흐름

SR Draft와 Deep Learning의 조합으로 고해상도화를 실시하고 있다.
각각에 새로운 알고리즘을 논문에서는 제안하고 있습니다.

(1) SR Draft 생성

고해상도 이미지에 대한 몇 가지 후보를 생성합니다.
자세한 것은 논문에 쓰고 있으므로 생략합니다. (Deep Learning에 주목하여 본 기사를 쓰고 있기 때문에)

(2) 모델 개요

모델의 개요 다이어그램은 다음 다이어그램입니다. ( 논문 에서 인용)

입력 매수를 N장으로 하면, N-1장이 SR Draft로 나머지의 1장이 Bicubic법으로 확대한 화상입니다.
출력은 한 장의 이미지가 됩니다.

모두 4개의 층으로 이루어져 있으며,
처음 3층은 Convolution 계층이고 마지막 1층은 Deconvolution 계층입니다.

Convlution층에서는, 입력한 N매의 화상의 정렬 처리를 주로 실시하고 있어,
Deconvolution 레이어는 노이즈와 같은 Visual artifact(시각적 이상?)를 제거하는 목적으로 사용됩니다.

3. 결과

결과는 논문 에 있듯이 기존 기법보다 세밀한 이미지를 얻을 수 있습니다.
결과 예는 다음과 같습니다. ( 논문 에서 인용)

왼쪽부터 Bicubic법, bayesianSR, 본 방법, 원화상이 되고 있습니다.
PSNR등의 화상 평가 수법에 의한 비교도 논문에서는 기재되어 있으므로 꼭.

4. 지견, 공헌

・본 방법은, 정밀한 화상을 얻을 수 있는 초해상 수법이다.
・실제로 촬영된 동화상에서도 정밀한 화상을 얻을 수 있었기 때문에, 동화소 서해상 수법으로서도 유효하다.
・Deep Learning을 이용한 최초의 동화상 초해상 수법이다.

5. 참고문헌

· 야야 유 논문을 읽는 방법
본 기사의 흐름을 쓰는데 사용.
· Video Super-Resolution via Deep Draft-Ensemble Learning
이번에 소개한 논문.
· Qiita 기사 작성 방법 초보자의 비망록
아직 MarkDown 기법이 되어 있지 않기 때문에 사용.