처리 절차

Undistortion (이미지 왜곡 지우기)

Stereo Rectification (오른쪽과 왼쪽 이미지가 높이가 동일하도록 조정)

평활화 (노이즈 필터링 및 밝기 값을 좌우로 맞추는 등)

비용 계산 방법

matching 방법

4. cost 계산 방법

SAD (Sum of Absolute Difference)

1pixel마다의 intensity의 차이를 이미지 전체로 더한 것

SSIM(Structure Similarity)

intensity의 평균값과 표준편이 오른쪽 이미지와 왼쪽 이미지가 같으면 SSIM은 1이 된다. 평균 또는 표준 편차가 좌우로 가깝지 않으면 SSIM은 0에 가깝습니다.


Cost = α*SSIM + (1-α)SAD
*α(0~1)

5.matching 방법

BM(Block Matching)

몇몇 오른쪽 심상의 block(WxH)를 빼낸다. 0에서 MaxDisparity(임의의 값)까지 1pixel씩 블록을 어긋나면서, 왼쪽의 화상의 대응 개소와 비교하여 매칭 코스트를 계산한다(SAD, SSIM 등). 가장 비용이 낮은 Disparity를 ​​최종 Disparity로 사용합니다.

SGM(Semi-Global-Matching)

픽셀당 비용 계산
오른쪽 이미지와 왼쪽 이미지의 대응하는 윈도우 (블록)의 매칭 비용 (SAD, SSMI, 해밍 거리 등)을 계산한다.
오른쪽 이미지를 옆으로 shift시키면서 마찬가지로 매칭 비용을 계산한다. 이것은 전체 이미지에서 수행됩니다. 출력은 WxHxD의 3
차원이 됩니다 (모든 픽셀은 MaxDisparity 개의 값을 유지합니다)
* 여기서 최소 매칭 비용을 출력하면 Block Matching과 동일한 결과를 얻을 수 있습니다

smoothing
이전 (옆) pixel를 가진 disparity는 동일하다고 가정한다.
d=d => Penalty=0
d=d+1 => Penalty=P1
d=d-1 => Penalty=P1
d=i => Penalty=P2
기본적으로 주변(인접하는)pixel의 Disparity는 같을 것.

동적 계획법에 의해 8방향에서 스캔
8 방향에서 2를 추가하여 스무딩하면서 WxHxD 비용지도가 완성됩니다.

Disparity 구하기
비용이 가장 낮은 Disparity를 ​​최종 결과로 사용합니다 (winner-takes-all).