Panoptic Feature Pyramid Networks

Panoptic Segmentation에 FPN(Feature Pyramid Network)을 사용해 보았다는 논문이다

신규성

Panoptic에서 FPN을 사용해 보았습니다.

3해상도의 출력 각각으로부터 얻은 ROI(물체가 있을 것 같은 에리어) 모두에 대해 Semantic Segmentation를 하는 것으로 Instance Segmentation를 실시하고 있다.



3 해상도의 특징량을 전부 더한 Feature Map(검은 녀석)을 사용해 Semantic Segmentation을 실시한다

FPN 효율성 실험

(b) (c) (d)가 1/8의 해상도로 출력할 때 좋은 결과를 낼 수 있는 모델의 대표예.


곱셈 덧셈의 수(왼쪽 그림)와 메모리의 소비량(오른쪽 그림)을 비교해 보면 FPN이 제일 계산량이 작아 메모리의 사용량이 적은 것을 알 수 있다.

결론

· Dilated/Symmetric Decoder보다 FPN이 가장 계산 비용과 메모리 비용이 작다

여러 논문에 FPN이 사용되고 있는 것도 수긍

참고문헌

Panoptic Feature Pyramid Networks
htps : // 아 rぃ v. rg / pdf / 1901. 02446. pdf