개요

DeepLab 계열을 base로 해 Panoptic Segmentation을 할 수 있는 Network가 있었으므로 읽어 보았다.

・ ASPP (Atrous Spatial Pyramid Pooling)
· Panoptic Segmentation (Instance Segmentation + Semantic Segmentation)
· 키 포인트를 사용한 instance segmentation
이 3점을 이미 이해하고 있으면 이 네트워크의 신규성은 조금만.

신규성

S2D/D2S

그림과 같이 변형하면 메모리 소비량을 변경하지 않고 이미지 크기를 변경할 수있는 것 같습니다.
뭔가 조금 이상한 느낌.
어쩌면 그렇게 중요하지 않기 때문에 가볍게 흘리자 m (_ _) m

PC(Parsing Covering)

Ponotic Segmentation에서는 PQ(Panoptic Qality)가 평가 지표로 사용되는 것이 일반적이다.
가까운 물체(큰 물체)는 자동 운전 등으로 검출 정밀도가 높아야 한다는 점에서 큰 물체에 초점을 맞추는 평가 지표를 제안.
C : 클래스 수
Ni : 특정 클래스의 Ground Truth pixel 수
maxIOU(R,R') : 어떤 물체의 Ground Truth에 대한 최대(prediction 중에서 가장 겹치는 범위가 큰 녀석)의 커버율(0~1)
Covi : 한 클래스의 Ground Truth에 대한 커버율
PC : 모든 클래스의 Ground Truth에 대한 커버율

결론

PC(Parsing Covering)는 사용할 수 있을 것 같다고 생각했다.

참고문헌

DeeperLab: Single-Shot Image Parse
htps : // 아 rぃ v. rg / pdf / 1905. 01220. pdf
htps : // 이 m / 설마 46 / ms / 07c8138239 d5895 에 bcf