【이미지 생성】Encoder-LatentSpace-Decoder로 분류에 기초한 카테고리별 이미지 생성♬

하고 싶은 것은, 카테고리마다 화상 생성하면 더욱 상세화된 화상 생성이나 단계적인 분류가 가능해질 것이다.
이번에는 상세화된 이미지 생성을 시도했다.
이미지는 다음과 같이 입력 이미지를 분류하고 결과에 따라 카테고리별로 학습 된 전용 Encoder-Decoder를 사용하여 이미지를 생성합니다.

이하는 Cifar10의 그레이 화상화해, 채색한 예(카테고라이즈도 그레이 화상으로 실시)

※위로부터 그레이 화상, 다음이 0-9의 전용 Encoder-Decoder로 생성, 3단째가 10개를 하나의 Encoder-Decoder로 학습한 것으로 생성, 마지막 단이 원래의 컬러 화상

했던 일

· MNIST 정보 카테고리별 Encoder-Decoder로 이미지 생성
・Cifar10에 대해 카테고리마다 Encoder-Decoder로 화상 생성

· MNIST 정보 카테고리별 Encoder-Decoder로 이미지 생성

코드는 다음 코드로 학습합니다.
· VAE/keras_category.py
그리고 위의 이야기는 학습된 모델을 이용하여 아래의 코드로 실시합니다.
· VAE/keras_category_intelligence.py
그 결과 다음 이미지를 얻었습니다.

충분한 정확도로 얻었습니다.

・Cifar10에 대해 카테고리마다 Encoder-Decoder로 화상 생성

Cifar10과 같은 것을 실시했습니다.
일반적인 이미지 생성은 MNIST와 마찬가지로 상당한 정확도로 이미지를 생성할 수 있었으므로 여기에서는 특히 채색에 대해 설명합니다.
코드는 다음 코드로 학습합니다.
· VAE/keras_category_cifar10_color.py
그리고 위의 이야기는 학습된 모델을 이용하여 아래의 코드로 실시합니다.
· VAE/keras_category_intelligence_cifar10_color.py
결과는 위와 같습니다.
그런데 마찬가지로 0만 학습한 Encoder-Decoder로 이미지 생성한 것이 아래와 같습니다.

배열은 상기의 경우와 같습니다만, 카테고리는 모두 0이 되고 있습니다. 물론, 카테고리화는 올바르게 카테고리화하고 있습니다만, 생성의 Encoder-Decoder는 0의 Airplane만을 학습한 것입니다.
그래도 비교하면 알겠지만, 2단째와 3단째를 비교하면 거의 비슷한 이미지를 생성하고 있어 거의 착색되어 있는 것을 알 수 있습니다.

이것은 이전 DL의 기억에서 본 현상 과 같은 현상일 것이라고 생각합니다.
그 현상은 LatentSpace의 차원이 커지면 학습하지 않은 카테고리도 생성할 수 있게 되었습니다.
이 이상의 내용은 이번에는 불명이므로 더욱 추궁해 나가고 싶습니다.

요약

· 분류에 따라 카테고리별로 학습 된 Encoder-Decoder로 이미지 생성을 시도했습니다.
・컬러화도 실시할 수 있었다
・0만의 학습 완료 Encoder-Decoder로, 0-9의 모든 것을 학습한 Encoder-Decoder와 같은 채색 결과가 되었다

· Encoder-Decoder의 LatentSpace의 역할을 더욱 추구하려고 생각한다
・조금 더 복좌인 것으로 DL의 기억이나 로직을 포함한 뉴로를 생각해 보자