StereoDRNet: Dilated Residual Stereo Net

PSMNet 의 진화판으로 정밀도도 높고 FLOPS수도 작다.

Dilation을 이용하는 것으로 Global 정보를 학습하면서 작은 모델에서도 정밀도가 나오게 되었다.

Feature Extraction

다른 네트워크와 똑같이 downsample하면서 컨벌루션. 결국 1/4의 width와 height가 된다.



더 글로벌한 정보에도 액세스하고 싶기 때문에, Dialation을 이용해 복수 해상도의 데이터를 결합하고 있다.

Cost Volume

PSMNet 과 거의 같고, Dilation을 사용하는 것으로 보다 Global와 Local의 정보에 Access하려고 하고 있다.

Disparity Refinement

항상 계산하는 Geometric Error와 Photometric Error와 Left Image를 입력하여 Occlusion Map과 Residual Disp R을 추정한다.

Residual Disp R은 Left Image와 2개의 Error에 의해 계산된 차분으로, Left Disparity를 ​​더함으로써 Refine된 Disparity를 ​​구할 수 있다.


Ground Truth의 Occulusion Map과 비교하여 Cross-Entropy-Loss를 계산합니다.

어떻게 Ground Truth의 Occlusion Map을 만드는지 궁금합니다.



Refine한 Disparity Map과 Ground Truth의 Disparity Map의 차이를 계산한다.

결론

Dilation을 이용한 Spatial Pooling을 하는 것으로, Global인 정보를 포착하고 있게 되어, texture less인 장소등도 이전보다 정밀도 좋게 추정할 수 있게 되어 있다.

Disparity Refinement에서 사용되고 있던 Occlusion의 추정은 어떻게 Ground Truth를 얻을 수 있는지 알 수 없고, 만약 Simulator 이외로 할 수 있으면 도움이 될 것 같다.

참고문헌

StereoDRNet: Dilated Residual Stereo Net
htps : // 아 rぃ v. rg / pdf / 1904. 02251. pdf