论文

배경

부유물을 포함한 수중 영상에서 부유물이 없는 영상을 복원하기 위해 부유물이 존재하는 영역을 U-Net을 이용하여 추정하고, 이를 바탕으로 생성한 마스크 영상을 이용하여 Partial Convolutions를 수행함으로써 , 부유물을 제거하는 기술을 제안한다.

제안 기법

부유물 영역 추정과 Image Inpainting의 2단계 처리로 이루어진다.
첫 번째 단계 : 부유물 영역 추정은 인공 부유물 이미지와 그에 해당하는 마스크 이미지를 사용하여 훈련 된 U-Net으로 추정됩니다.
2단계: Image Inpainting은 부유물이 없는 수중 이미지와 1단계 마스크 이미지를 사용하여 훈련한 Partial Convolutions에서 추정을 실시한다.

데이터 세트

수중 이미지는 데이터베이스 J-EDI(JAMSTEC E-library of Deep-sea Images)에서 다운로드한 1263장의 부유물이 없는 수중 이미지를 Data Augmentation에서 11367장으로 늘렸다.

인공 노이즈 작성

빈 이미지에 대해 모양과 크기 및 실제 부유물의 색상에 가까운 색을 가진 여러 패턴을 무작위로 생성하고 가우시안 필터와 평균화 필터를 모두 사용하여 흐리게하여 부유물 이미지를 생성한다. 생성 된 이미지를 원래 이미지에 추가하여 인공 부유물이있는 수중 이미지를 생성합니다.

결과

요약

실험 결과 인공 부유물의 특징을 학습함으로써 실제 부유물도 검출할 수 있어 복원된 화상에서는 부유물이 잘 제거되어 있는 것을 확인하였다.