Chainer에서 화풍을 변환하는 알고리즘 구현을 캐주얼로 시도

PFN이 공개해 주는 아래와 같은 화풍의 변환, 매우 재미있지만, 샘플을 시험하는 것만으로는 어디까지 챔피언 데이터인지 잘 모르기 때문에 시험해 보았다.

화풍을 변환하는 알고리즘 | Preferred Research

결론

화풍을 스타일로부터 추출해, 대상에 적용하는 것이 정말로 되어 있는 것을 실감할 수 있었다.

특정 데이터만으로 재현하고 있는 것은 아님을 확인할 수 있었다.

사용하는 모델, 스타일의 원래 이미지에 따라 결과가 크게 바뀌었다. 챔피언의 결과가 될지 어떨지는 이 근처의 의존도가 큰 것 같았다.

재현은 어렵지 않고, Deep Learning의 높은 능력을 실감 할 수 버렸습니다 ...
화풍의 특징량 추출을 매뉴얼로 실시하는 것은 곤란하다고 생각되기 때문에, 다른 방법으로 이 알고리즘 이상의 결과를 내는 것은 상당히 어려운 것은 아니라고 생각했습니다.

확인 결과

저작권이없는 이미지를 입력하고 화풍이 적용되었음을 주관 평가했습니다. 스타일을 적용하는 이미지에는 최근 팝적인 이미지를 원했지만 저작권이 없다면 흔히 발견되지 않는다. orz
※ VGG 16-layer의 CNN 모델로 생성.

케이스 1 ~ 칸딘스키 스타일 적용 예

스타일의 원본 이미지
적용 대상



칸딘스키 컴포지션 Ⅷ ≫ 1923 ※우측을 잘라내기
불행한 낙서 캐릭터 orz

결과

색채는 물론, 배경의 세세한 텍스처나 선의 굵기의 사용법이 꽤 비슷하게 보인다.

케이스 2 ~ 도가 스타일 적용 예

스타일의 원본 이미지
적용 대상



도가 [스타] 1878

불행한 낙서 캐릭터 orz

결과

5,000회의 반복의 결과, 위의 경우와 달리 도중 경과 쪽이 그럴듯한 결과가 나왔다.
이미지의 상반부, 인물 배경의 특징이 반영되고 있는 모습이 있는 것 같은….


2,500회 시점
4,000회 시점
최종 이미지

파생 실험 ~ 모델에 NIN을 사용했을 때

4,000회 시점의 화상은 이대로로, 이렇게 사용하는 모델로 결과가 꽤 달랐습니다.

마지막이지만, 성과를 공개해 주신 Preferred Research님께 감사드립니다.