Photogrammetry 캡처 결과에 패치

Photogrammety로 사진에서 실물 크기의 모델을 만드는 것은 재미 있습니다.
그러나, 특징점이 적은 평면이나 반사·투과의 물체는 서투른
예를 들어, 여기 케이크의 팝은 벌레 먹는 것 같아 외형이 좋지 않습니다


이번에는 간단하게 구멍 멍을 보수하는 방법을 소개합니다
RealityCapture와 Blender를 사용했습니다.

주의:
확실히 성공하는 것은 아닙니다.
Blender에서 수행하는 모델의 수정 내용이나 Export의 상태에 의존하는 것 같습니다만, 완전히 원인을 파악할 수 없습니다
조금씩 수리 부분을 늘리는 것이 좋다고 생각합니다.

1. RealityCapture로 모델 출력(FBX 형식)

우선 Reality Capture에서 최소한의 상태 모델을 생성하고 결과를 FBX 형식으로 내보냅니다.
이번에는 스마트 폰 카메라 사진 44 장이었으므로 사용료는 1.08 $입니다.
이미지에 포함된 사진에 대해 요금이 부과되므로 이후 내보내기에는 돈이 들지 않는 것이 도움이 됩니다.
(과금액은 정해진 단위가 있으므로, 실제로는 29.9 €에서 구입한 8000Mpix분의 크레딧으로부터 잘라서 사용합니다)

2. Blender에서 구멍이 있는 부분에 다른 메쉬를 놓습니다.

방금 만든 FBX 파일을 가져옵니다.
상품명의 플레이트는 판이므로 plane을 extrude하여 모델과 맞도록 크기와 위치를 조정합니다.
Before

After

3. Blender에서 Obj 방식으로 모델 출력

Import한 오브젝트와 추가한 오브젝트를 Join에서 하나로 정리해 선택·액티브로 해, Obj 형식으로 출력합니다
체크란의 맨 위에 있는 Selection Only에 체크를 넣습니다.
방향의 Up은 Zup이지만 Forward는 -X 또는 -Y 중 하나를 선택합니다.


실은, 대부분의 성공 확률은 올라 왔습니다만, 이 때의 설정을 완전하게 파악할 수 없습니다
Export하고 싶은 모델을 Join으로 정리하지 않거나, Material의 체크를 해제하지 않았다면, 다음 단계에서 에러가 나오지 못한 적이 있거나, 거동이 안정되지 않았던 것입니다


자세한 쪽의 코멘트를 주시면 도움이 됩니다

4. FBX 출력한 같은 파일에, 작성한 Obj 파일을 Import

RealityCapture로 돌아가서 Reconstruction의 Import Model을 선택하고 방금 만든 Obj 파일을 가져옵니다.

필요에 따라 Unwrap

Scene의 scene render를 Sweet으로 하면 이런 식으로 표시됩니다.


Blender에서 추가한 객체의 메쉬가 너무 크면 Texture 해상도가 낮아졌습니다.
Unwrap의 텍셀 크기 조정으로 대응할 수 없으면, Blender로 돌아가서 추가하는 오브젝트의 메쉬의 크기를 loop cut등으로 작게 합니다

5. RealityCapture로 Texture를 붙이기

여기처럼

그건 그렇고, Before는 이런 느낌이었습니다.

요약

결국, 사진으로부터 메쉬의 위치를 ​​재구성해, 카메라의 위치로부터 붙여야 할 텍스처를 선택해 붙이고 있을 것이므로(라고 이해하고 있습니다만), 대응한 스케일로 모델의 메쉬를 보충해 주면, 반사 등으로 캡처할 수 없었던 평면도 재현할 수 있겠지요

다른 좋은 방법이 있다면 가르쳐 주시기를 부탁드립니다.