Improving Semantic Segmentation via Video Propagation and Label Relaxation

annotation data를 늘리려는 것이 이 논문의 메인 테마이다.

optical flow를 아는 사람이라면 간단하게 이미지 할 수 있다고 생각하지만, 이미지와 Ground Truth 데이터의 pixel을 함께 shift 하는 것으로 데이터가 늘릴 수 있다.

신규성

데이터를 늘리자

Optical Flow(시계열에 있어서의 pixel의 이동)를 이용하는 것으로ground truth의 데이터(time=t를 시프트한 만큼)를 생성할 수가 있다.
그런 다음 해당 이미지가 필요하므로 이미지도 픽셀을 이동합니다.

Optical Flow

과거 데이터에서 다음 프레임 이동량 (x, y)을 추정합니다.

Video Prediction(Motion Vector)

좀 더 정확하게 만들고 싶지 않다.
Optical Flow와 이미지를 입력하여 컨벌루션을 실시해 Motion Vector라고 하는 것을 제안했다.
요점은 Optical Flow를 조금 Refinement 해 본 느낌.

*g(I,F): 이미지와 Optical Flow에서 얻은 Motion Vector
*T(M,I) : Motion Vector와 이미지를 입력으로 다음 Frame을 추정한다

Video Reconstruction(Motion Vector)

과거 데이터와 현재 데이터로부터 미래를 추정하는 것보다, 미래의 데이터가 있으니까 미래의 데이터와 현재의 데이터로부터 미래를 추정(차이를 보는)하는 것이 정확하죠. 라는 아이디어

t-1과 t에서 얻은 모션 벡터
더
t와 t+1에서 얻은 Motion Vector
쪽이
t의 이미지로부터 t+1의 이미지를 추정하는데 적합하다.

*recording data이기 때문에 할 수 있다

Boundary Label Relaxation

물체의 edge에서는 annotation가 정확하지 않은 것은 흔하다.
예를 들면, 차와 사람의 pixel가 옆에 있으면, 사람이라고 추정해도 차라고 추정해도 정답으로 하자!
라는 부드러움이 Boundary Label Relaxation이다.

결론

· 이미지의 연속성을 사용하여 annotation 데이터를 늘리고 있었다.
・Boundary Label Relaxaxion에서 물체의 경계선은 어느 쪽으로 추정해도 좋게 하고 있었다.

data를 늘리는 발송은 재미있다고 생각했다. 그러나, 실용으로서 정밀도가 떨어질 가능성이 있으므로 사용하지 않는다고 생각한다.
Boundary Label Relaxation은 일반적으로 효과적인 수단이라고 느꼈다.

참고문헌

Improving Semantic Segmentation via Video Propagation and Label Relaxation
htps : // 아 rぃ v. rg / pdf / 1812. 01593v3. pdf