안녕하세요.저는 ZOZO 기술 회사의 뒷덩굴입니다.
이번에는 요즘 등장하는 패션 분야입니다.×나는 기계 학습 논문에서 개인적으로 흥미를 느끼는 분야를 소개하고 싶다.
이번에는 다음 두 분야에 대해 소개하겠습니다.

창조성과 독창성을 발휘하여 이미지를 디자인하는 모델

이미지상의 인물 옷의 모형을 교체한다

CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms

이 연구는 사람들이 만들어낸 과거의 회화를 배우고 그곳에서 독창적인 그림의 모형 개발에 주력했다.우리가 주목하는 것은 Generative Adversarial Networks(GAN)의 생각이다.GAN은 소음에서 데이터를 생성하는 Generator와 데이터가 진정한 데이터인지 Generator에서 온 데이터인지 구분하는 Discriminator를 통해 서로 경쟁하여 우수한 Generator를 얻는 알고리즘이다.예를 들어 학습할 데이터가 이미지라면 GAN 알고리즘을 통해 학습한Generator는 때때로 실제 이미지를 생성할 수 있고 심지어는 인류의 눈을 속일 수도 있다.
다음은 일반적인 GAN 알고리즘입니다.x는 데이터를 나타내고, z는 소음을 나타내며, G(z)는 소음으로 생성된 데이터를 나타낸다.D(·)는 Discriminator가 식별한 진위 결과입니다.

저자는 Generator가 창의력을 얻기 위해 상기 GAN 알고리즘을 다음과 같이 수정했다.Creative Adversarial Networks(CAN)라고 합니다.

CAN에서 이번 문제 설정에서 Discriminator는 회화의 진위를 식별하는 임무와 회화 스타일을 판별하는 임무를 부여받는다.한편, Generator는 Discriminator가 양식을 식별할 수 없는 회화를 생성하는 동시에 소음으로부터 회화를 생성하는 것을 배울 것이다.
시스템의 전모는 아래 그림과 같다.

결과

이것은 CAN이 생성한 회화에서 인류의 점수가 높은 결과의 예이다.

Design Inspiration from Generative Networks

Creative Adversarial Networks의 아이디어를 패션 프로젝트 디자인에 응용한 연구다.새로운 공헌은 CAN 논문에서 제시한 손실 함수의 일반적인 형식을 도출하고 유용성을 확인하며 강력한 네트워크 구조를 제시하여 패션 프로젝트를 만드는 것이다.아래의 상의 사진은 작가가 제시한 모델 생성의 디자인이다.독창성이 높다는 평가를 받았고 61%는 인류 디자이너가 창조한 것으로 여겨졌다.

CAN의 손실 함수는 각 양식에 대해 1,0의 판별이 있는데 여기서 여러 가지 엔트로피를 제시했다.검증을 통해 우리는 손실 함수의 성능이 더욱 높다고 생각한다.

M2E-Try On Net: Fashion from Model to Everyone

모델이 입고 있는 옷을 목표로 하는 모델-to-Everyone Try on Net(M2E-TON)을 제시했다.이 연구의 장점은 의상 교환 공정을 3개의 네트워크로 나누어 정밀도를 높였고 의상 교환 시 옷의 무늬를 잘 반영할 수 있도록 새로운 학습 전략을 제시했다는 것이다.
옷을 갈아입으려면 모델 이미지 자세를 대상 이미지 자세로 변형하는 네트워크 자세 정렬 네트워크(PAN), 텍스쳐를 붙일 때 발생하는 거친 네트워크 텍스쳐 참조 네트워크(TRN),모형 이미지의 옷을 대상 이미지에 붙이는 네트워크 Fitting Network(FTN)의 3개를 사용합니다.

Unpair-pair Joint Training Strategy

옷 무늬 등 작은 부분까지 잘 복사할 수 있는 능력을 얻기 위해 같은 옷을 입은 서로 다른 자세의 모형 이미지의 한 쌍에 대해 픽셀당 L1, L2 손실 함수를 가하고 그렇지 않은 한 쌍에 대해서는 GAN의 손실 함수만 가한다.자세만 다른 이미지를 사용하는 것은 EC 사이트 등 상하문에서 이런 이미지를 쉽게 관찰할 수 있기 때문이다.

결과

20명의 사용자로 하여금 4개의 대체 알고리즘의 출력 결과 중 가장 진실하고 상세한 정보를 저장할 수 있는 출력 결과를 선택하게 하였으며, 제안 방법은 83.7%의 표를 얻었다.