소개

곧 CVPR2018에서 발표되는 다음 논문
Translating and Segmenting Multimodal Medical Volumes with Cycle- and Shape-Consistency Generative Adversarial Network
htps : // 아 rぃ v. rg/아bs/1802.09655
마음대로 구현했습니다.

코드는 여기에 업했습니다.
htps : // 기주 b. 코 m / 마사타카 46 / Cyc ぇ - 샤 페 암

논문의 해설은 이쪽으로 업했습니다
htps : // 코 m / 설마 46 / ms / 펑 cb526 7b223585db6

구현 포인트

Cycle-GAN과의 비교에서 말하면, 생성된 화상에 대해서 Segment를 실시하는 Segmentor를 더한 것만.

문제 설정

인터넷에서 세그먼트화 된 주석이있는 MRI 또는 ​​CT를 찾을 수 없기 때문에 CityScape 데이터 세트를 사용하여 다음과 같은 문제를 설정했습니다.

CityScape의 데이터 중, 여름 같고 쾌청한 화상 300장 정도를 X, 가을 같고 비 또는 흐린 화상 300장 정도를 Y로 하고, X로부터 Y, Y로부터 X를 생성시킨다

X에서 Y를 생성하는 $G_Y$는 이미지를 가을에서 무슨 일로 변환하는 것을 목표로 하고 Y에서 X를 생성시킨다 $G_X$는 이미지를 여름에서 맑은 날씨로 변환시키는 것을 목표로 한다

동시에 shape consistency의 효과로서 변환된 이미지의 기하학적 위치 관계가 원래의 이미지와 동일하다는 것을 목표로 한다

실험 및 결과

Shape consistency의 효과를 보려면,

CityScape 데이터 및 cycle-GAN 모델

상기 모델에 Segmentor를 더한 모델

의 2개로 비교 실험을 행하였다.

첫째로 1. cycle-GAN 모형에서 10epoch.

좌단이 X, 그 오른쪽이 X에서 Y의 생성, 그 오른쪽이 더욱 그 다음 X의 생성.

왼쪽에서 4열이 Y, 그 오른쪽이 Y에서 X의 생성, 그 오른쪽이 더욱 그 다음 Y의 생성.

반면에 2. cycle-shape-GAN에 10epoch


단지 10epoch라도 어쨌든 화창하게, 맑은 빛이 어딘가로 변환되고 있다. 또한 원래의 기하학적 관계도 유지됩니다.

작업이 너무 쉬웠을까~.