A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation

DispNet은 MC-CNN 이나 SGM(Semi Global Matching)과 다른 방법으로 Depth를 계산하고 있었으므로, 재미 있다고 생각 기사로 합니다.
*optical Flow에 대해서도 기술이 있습니다만 이번은 무시합니다

신규성

왼쪽과 오른쪽 이미지를 결합하여 입력

입력 시점에서 특징량 6, 즉 오른쪽과 왼쪽의 RGB가 입력이라는 것을 알 수 있습니다.
MC-CNN에서는 Patch(9x9의 에리어를 뚫은 것)를 입력해, CNN로 컨볼루션합니다만, 모든 Disparity에 대해서 같은 처리를 몇번이나 반복하지 않으면 안 되어, 꽤 계산 코스트가 무거워 이었다.

게다가 이쪽이 이미지 전체를 참조 할 수 있기 때문에 좋지 않을까 생각했다.

Correlation Layer

DispNet과 DispNetCorr1D라는 것이 아래의 결과의 Table에 있습니다만, Correlation과는 취할 수 있는 Disparity에 대해 오른쪽과 왼쪽의 Feature Map을 시프트해 Cost Volume을 만드는 것을 말합니다.
*Stereo Matching의 가능한 모든 Disparity에 대해 특징을 계산하는 것과 비슷합니다.

결과

오른쪽과 왼쪽 이미지를 결합하는 방법은 고전적인 SGM과 CNN을 사용하는 MC-CNN보다 빠릅니다.

결론

・2020년 현재 별로 사용되고 있지 않은 오른쪽과 왼쪽의 화상을 결합해 입력으로 하는 이 수법은 이외라고 주목받고 있지 않은 것만으로, 효율적이라고 생각하고 있다.

참고문헌

A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation
htps : // 아 rぃ v. rg / pdf / 1512. 02134. pdf