처음에

GAN(Generative Adversarial Network)의 진화가 아무래도 멈추지 않는 것 같습니다.
DCGAN, pix2pix와 같은 최신 GAN 모델이 차례로 등장하고 있습니다.
(텍스트 생성 모델이나 음악 생성에도 사용되는 것 같습니다)
그리고 이번에는 cycleGAN을 사용하여 인간의 얼굴을 애니메이션 그림으로 자동 변환하고 싶습니다.

cycleGAN이란?

화상 데이터 세트 A와 B가 있었을 때에 A와 B가 각각 쌍이 없어도 변환 할 수 있는 굉장한 놈입니다.
즉, 많은 데이터를 먹이면 자동으로 학습 해주는 것입니다! (만약 실수가 있으면 지적해주세요)

데이터 얻기

Labeled Faces in the Wild 과 animeface-character-dataset 을 사용합니다. (만약 시도하는 경우는 자기 책임으로 부탁드립니다)
cycleGAN은 이번 목적을 시험하는 것이고 초보자가 바퀴를 재개발하고 버그가 있다고 곤란하기 때문에 이번 구현을 빌릴 것입니다.
미리 두 개 모두 openCV로 얼굴을 추출해 둡니다. (애니메이션 얼굴은 애니메이션 얼굴 전용 모델을 사용했습니다)

결과

epoch는 잊어버렸지만 10회 미만이었다고 생각합니다.
빨리 test 디렉토리를 들여다 봅니다.

비교적 잘 작동하는 예

이 사람이

CycleGAN-tensorflow

이렇게 되었습니다.



제대로 눈이 생성되었습니다!

잘 못했던 예

이 사람이



이렇게 되었습니다.

반성점

어떤 이유는 모르겠지만

학습 횟수가 너무 적었습니까?

데이터 양이 부족했습니다?

데이터 양이 얼굴 사진과 애니메이션 그림에 치우쳤다?

신경망 자체를 설계를 검토해야 했습니까?

원래, 현재의 기술로는 불가능?