Zorah L ̈ahner, Daniel Cremers, Tony Tung
Facebook Reality Labs, USA, Technical University Munich, Germany
ECCV2018
arXiv , project page , video

어떤 물건?

우리는 현실 세계의 데이터에서 정확하고 현실적인 옷 변형(주름)을 만드는 방법을 제시했다.
Deep wrinkles의 목표는 관측할 수 있는 모든 기하학적 디테일을 회복하는 것이다.

선행 연구와의 차이

처음으로 deepneural 네트워크를 3차원 표면의 기하학적 refinement에 응용

Conditional GAN을 사용하여 법선 맵 생성

체형과 자세에 따라 리타겟

시간 일관성 고려

기술과 수법의 관건

보라색 입력, 청색 학습 모형.

Data preparation

각 유형의 옷에 대해 60fps로 4D 스캐닝

200k 정점으로 구성된 3차원 격자 획득

에서 얻은 데이터는 비강체 등록non-rigid registrations이다.

비강체 정렬

Statistical model

PCA를 이용한 선형 서브스페이스 분해(SMPL)[31] 계산 통계 모델

※ 이미지 참조[31]

Fine Wrinkle Generation

아래 그림에서 보듯이 lowresolution(LR)법선영사와 Conditional GAN에서 얻은 하이resolution(HR)법선영사를 사용하여 옷의 상세한 주름을 재현한다.

lowresolution(LR) 법선 매핑은blend shape reconstruction을 통해 얻을 수 있습니다.
High resolution(HR) 법선 매핑은 스캔을 통해 얻을 수 있습니다.

다음은 제안 기법의 Conditional GAN입니다.
Generator는 U-Net 구조이고 Discriminator는 70x70의 PatchGAN으로 강제 법선 매핑의 일관성을 가진다.
lowresolution(LR) 법선에서 진정한 highresolution(HR) 법선 맵을 생성하는 것을 목표로 합니다.

법선이 비치는 시간의 일치성을 유지하기 위해 다음과 같은 손실을 추가합니다.
$L_{data}$는 실제 값에 가까운 맵 손실을 생성하는 데 사용됩니다.
$L_{temp}$는 거의 1시간 전의 진가 이미지를 생성하기 위해 손실되었습니다.

연속 2 프레임의 결과를 보면 이런 손실이 없는 상황에서 소음이 나고 일관성이 사라진다.
(왼쪽은 무손실 연속 2 프레임, 오른쪽은 손실 연속 2 프레임)

유효성 확인 방법

두 종류의 셔츠를 배우다.
9213장의 연속 이미지 데이터 집합을 사용합니다(The first8000fortrain, the next1000fortest, the remaining213forvalidation.)

Comparison of approaches

다음은 서로 다른 방법과 비교한 결과다.

Physics-based simulation done by a 3D artist using MarvelousDesigner [ 32 ]

A linear subspace reconstruction with 50 coefficients

Importance of reconstruction details in input

다음 표에는 시간에 추가된 $L_ 이 나와 있습니다.{loss}$의 결과 (왼쪽) 와 학습 데이터의 결과 (오른쪽) 를 변경합니다.
(왼쪽) $L_1$거리로 정의하는 것이 좋습니다, $L_{temp}$및 $L_{data}$도 필요합니다.

(오른쪽)registration이 가장 좋습니다.

Retargeting

humantemplate를 바꾸면 서로 다른 체형에 대한retarget을 실현할 수 있다.

논쟁이 있습니까?

옷의 움직임을 포착하고 재건의 틀을 제시하는 DeepWrinkles

Conditional GAN에서 high resolution(HR) 법선 매핑 생성

시간적 일관성 있는 손실 권장

highresolution법선영사는 카메라가 볼 수 없는 구역에 대한 정보가 부족할 수 있습니다. 예를 들어 겨드랑이 구역

각종 의류, 액세서리(외투, 목도리 등)에 적용하고 싶다

다음 논문

pix2pix가 아니라 vid2vid입니다.
Video-to-Video Synthesis