SinGAN에서 음식을 움직여 보았습니다.

소개



물공/카운트 Advent Calendar 2019의 빈 틀에 방해했습니다.

최근에 "SinGAN"에서 여러가지 놀고 있었기 때문에 그 결과를 혼잡하게 정리하려고합니다.
SinGAN은 ICCV 2019에서 베스트 페이퍼로 선정되어 화제가 된 논문입니다.
단 하나의 이미지로 학습하여 같은 특징을 가진 임의의 크기의 이미지를 생성하는 것 외에도 이런 일도 할 수있는 뛰어난 것입니다.


논문 : htps : // / r ぃ v. rg/아bs/1905.01164
코드 : htps : // 기주 b. 코 m / 타마롯 t / 신암
동영상 : htps: //같다. 베/xk8bWL↑4개

게다가, 이미지 1장·GPU 1대로 간편하게 시험할 수 있는 곳도 기쁜 포인트입니다.GPU1대라면, 내 환경에서는 매회의 학습에 몇 시간 걸렸습니다.

논문의 내용에 대해서는, 빨리 수론을 써야 하기 때문에 이미 다른 해설해 주시고 있는 분이 있으므로, 여기서는 생략합니다.
Qiita에서만 몇 가지 발견.
  • 【SinGAN】 1장의 화상으로부터 다양한 화상 생성 태스크가 가능하게
  • 【논문 해설】 SinGAN: Learning a Generative Model from a Single Natural Image
  • ICCV2019 Best Paper "SinGAN" 깨끗이 읽고 쉽게 정리해 보았다

  • 글쎄,이 기사에서는 SinGAN의 README에 따라 다양한 기능 (주로 Animation)을 시도합니다. 재현하고 싶은 분은 저장소를 복제하십시오.

    덧붙여 SinGAN에서 놀아 본 결과는 적당히 #SinGAN 으로 세세하게 트윗하고 있습니다. 여러분도 꼭.

    애니메이션



    스틸 이미지에서 비디오를 만드는 것은이 명령에서 한 번입니다.
    $ python animation.py --input_name <input_file_name> 
    

    라면



    우선 스테디셀러라면에서.
    여기 맛있는 것 같은 라면이 ...

    이대로. 활기가 좋고 맛있을 것 같네요!


    니로 계의라면은 어떻게 될까요?
    이쪽의 차가운 중화가…

    이대로. 활기가 좋고 맛있을 것 같네요!


    피자



    여기 피자가 ...

    이대로. 갓 만든 따뜻하네요!


    해물 덮밥



    이곳의 해물 덮밥이 ...

    이대로. 신선하네요!


    라떼 아트



    여기 카페 라떼가 ...

    이대로. 활기가 좋고 맛있을 것 같네요!


    『소리』



    Munch의 '소리'가...

    이대로. 자아가 붕괴하고 있네요!


    푸른 동굴 (시부야 분)



    시부야의 일루미네이션이…

    이 대로. 이것이 가장 올바른 사용법이었던 것 같습니다.


    Harmonization



    콜라주를 자연스럽게 하려면 먼저 모델 학습이 필요합니다. 배경 이미지를 지정하세요.
    $ python main_train.py --input_name <input_file_name>
    

    두 번째 명령을 사용하여 잘라 붙여진 이미지와 마스크 이미지를 지정하여 harmonize합니다.
    $ python harmonization.py --input_name <training_image_file_name> --ref_name <naively_pasted_reference_image_file_name> --harmonization_start_scale <scale to inject>
    

    마스크 이미지를 만들려면 여기를 참조했습니다.
    Gimp로 특정 영역의 흑백 마스크 이미지 만들기 – Urusu Lambda Web

    그런데, 이번은 Monet의 「수련」에 산타 클로스를 합성하고 싶습니다. 이쪽의 잘라 붙인 화상이…

    이렇게 되었습니다. 작고 보이기가 어렵습니다.


    Super Resolution



    SinGAN은 초해상도 할 수 있으므로 방금 전의 이미지를 확대 해 봅시다.
    이 명령으로 한 번입니다. 아무것도 지정하지 않으면 종횡이 4 배가됩니다.
    $ python SR.py --input_name <LR_image_file_name>
    



    메리 크리스마스! 좋은 해를!



    Harmonization과 SR로 유명한 그림과 포켓몬을 협업 해 보았습니다.

    이토 와카 히데와 붕우.


    Turner와 루기아.


    둘 다 잘 생겼습니다. 아직 Harmonization의 요령을 잘 알지 못합니다.

    좋은 웹페이지 즐겨찾기