CycleGAN

pix2pix의 단점과 CycleGAN의 등장

pix2pix의 등장에 의해 고정밀도의 스타일 변환이 가능하게 되었지만, pix2pix의 학습 데이터는 변환 전후의 페어일 필요가 있어, 태스크에 따라서는 학습 데이터를 페어로 준비하는 것은 어렵다고 하는 현실이 있었다.

그 문제를 해결한 것이 cycleGAN이다. 생성기와 식별기를 두 세트로 사용함으로써 학습 데이터가 쌍이 아니더라도 스타일 변환이 가능했습니다.

↓ 생성기와 식별기가 2개씩! 반복하고 있습니다!

↓스타일 변환의 학습에 대해, pix2pix라고 왼쪽과 같은 변환 전후의 페어가 필요했지만, CycleGAN에서는 오른쪽과 같이 페어일 필요가 없어졌다!

구체적인 CycleGAN 메커니즘

발상으로는

F(G(x))≒x
G(F(y))≒y

로 표시되는 순환에 의한 일관성을 충족시키는 맵(생성기)

F,G

를 생각해 주면, 2개의 사상이 서로 역사상으로 그리고 전체 단사가 된다. 즉, 두 도메인 내의 요소

x∈X, y∈Y

는 서로 의미있는 쌍 (스타일 변환)이되어 있음을 나타냅니다.
그럼 이런 두 개의 맵(생성기)을 어떻게 학습하는가?

다양한 손실

두 개의 매핑을 학습하기 위해 세 가지 손실 함수가 도입됩니다.

· 사이클 일관성 손실

· 적대성 손실

· 동일성 손실

1.사이클성 손실

CyclsGAN의 특징적인 손실 함수.

F(G(x))≒x
G(F(y))≒y

이 관계를 충족시키는 것과 같은

F,G

되도록 학습합니다.
이를 위해,

위 식 거리,

変換前のデータx, Gで変換後にFで再構築したF(G(x))\\
変換前のデータy, Fで変換後にGで再構築したG(F(y))

의 두 세트에 대해 각각 L1 규범을 취한다.

2. 적대성 손실

이것은 일반적인 GAN(ex. DCGAN) 등의 손실 함수와 같다.

(G, Dy,X, Y)

마찬가지로,

(F,Dx,X,Y)

에 대해서도 생각한다.

3. 동일성 손실

(여기에서는 소개 정도에 머무른다.)
정규화를 위한 항을 도입하여 생성 화상의 색조가 원 화상과 일관된 것이 되도록 하는 것.
이미지에 대한 불필요한 변경에 페널티를 부과한다.
구체적으로 얼룩말⇄말의 스타일 변환으로 생각한다.
말 → 얼룩말의 매핑에 얼룩말의 이미지를 넣었을 때 얼룩말을 더욱 얼룩말로 스타일 변환시키는 불필요한 변환에 대해 페널티를 부과한다는 것이다.
이렇게하면 CycleGAN이 전체 이미지의 색상 구조를 저장할 수 있습니다.
이 손실 함수가 없어도 CyclaGAN은 작동합니다.