Panoptic Segmentation

Semantic Segmentation => 모든 픽셀의 클래스를 추정하는 작업
Instance Segmentation => 객체로 인식 된 픽셀의 객체 번호 (id)를 추정하는 작업
Panoptic Segmentation => pixel마다 class와 물체 번호(id)를 추정하는 태스크

셀 수 있는 클래스(차나 사람)를 Thing 클래스
셀 수 없는 클래스(하늘이나 길)를 Stuff 클래스로 한다

평가 지표

Segment Matching

Groung Truth와 prediction의 IoU가 0.5 이상이라고 Matching한 것으로 간주된다

증명 그렇게 어렵지 않으므로 좋으면 읽어보세요.

PQ Computation

일치하는 세그먼트의 IoU 평균


실수를 페널티로 분모에 추가 => 점수가 작다


합체시킨 것을 Panoptic Quality로 한다
일단이 공식만 기억하면 완벽합니다!


변형하면 무려 무려 Segmentation Quality와 Recognition Quality가 되지 않을까!

* 클래스로 나누어지지 않은 pixel, 애매한 pixel는 계산에서 제외한다

결론

물체 번호와 클래스를 추정하는 작업입니다.

시도하지 않으면 이미지가 끓지 않습니다.
구현하면 코드를 탈 수 있습니다!

참고문헌

Panoptic Segmentation
htps : // 아 rぃ v. rg / pdf / 1801. 00868. pdf
컴퓨터 비전의 최신 논문 조사 Segmentation 편
htps : // 엔기네 r. 그래. 코 m / 포 sts / 2019.