UPSNet: A Unified Panoptic Segmentation Network

Panoptic + FPN 구성의 Semantic FPN

Unknown 클래스의 추정이 가능한 것 같다.

신규성

Panotic Head 이외는 과거에 이미 연구되었으므로 날아갑니다.

Unknown Prediction

잘못된 classification(정의하지 않은 class의 물체 등)을 하는 것보다 unkown class로서 배분하는 것이 좋지 않은가 하는 주장.

예) 보행자를 자전거로 검출한 경우
보행자의 검출 누설(FN)이 1 증가
자전거 오 검출(FP)이 1 증가

FP 또는 FN이 증가하면 RQ가 나빠진다.
1개 실수하면 더블로 정밀도가 떨어지는 것이 좋지 않다고 합니다.

이 문제를 해결하기 위해 Unknow Class를 추정합니다.

Unknow로서 검출되면 검출 누설(FN)의 물체가 1 증가하고 있지만, 오검지(FP)의 수가 증가하지 않고 끝난다. 했어 ~ ~!



Yi: instance i의 instance segmentation 결과
Xthing : 셀 수있는 클래스로 분류 된 semantic segmentation의 결과
Xstuff : 셀 수없는 클래스로 분류 된 semantic segmentation의 결과
Xmaski : Xthing에서 instance i의 ROI에 해당하는 것 (빨간 점선)

우선 보라색으로 둘러싸인 Unknow Prediction의 흐름만 이해할 수 있으면 okay입니다.
Zunknown = max (Xthing) - max (Xmask)
Xmask : Xmaski를 채널 방향으로 결합 (검출 물체 수 xClass 수, H, W)

예)
max(Xthing)에서 차가 2대 검출되고 있고, max(Xmask)로 차가 1대밖에 검출되지 않았다.
즉, Instance Segmentation에서 물체의 검출 누설 가능성이 높습니다.

결론

· Unknow 클래스를 추정하는 것으로 잘못된 Class 추정에 의해 PQ를 너무 낮추지 않고 끝난다.

너무 깊이 생각하면 모르게 되어 가기 때문에, 익숙해져 가고 싶습니다!

참고문헌

UPSNet: A Unified Panoptic Segmentation Network
htps : // 아 rぃ v. rg / pdf / 1901. 03784. pdf