3D Face Reconstruction과 Houdini로 사진에서 얼굴 모델을 만들자.

HoloLens 추수 감사절에서 일본식 킵맨 챌린지이 개최되었으므로 그에 따라
사진에서 얼굴 모델을 만들어 주는 AI 서비스.

대형 데이터는 이 이미지를 이용합니다.

”3D Face Reconstruction from a Single Image”

방법은 매우 간단. 로 이동하여 업로드 할 파일을 선택하십시오.
”3D Face Reconstruction from a Single Image”

저는 로봇이 아니에요.


그러면 뭐라고 할 것입니다. 1장의 화상으로부터 얼굴 모델이 생겨 버렸습니다.
Download Wavefront OBJ File에서 obj 파일을 다운로드할 수 있습니다.

뭐야 Houdini 이라네 쨩이라고 생각 될지도 모릅니다.
그러나 obj 파일을 열어보십시오.

무려, 텍스처가 붙어 있는 것은 아니고, Cd 정보 첨부의 의사 복셀이 되어 있지 않습니까.


이대로는 다양한 용도로 사용할 수 없습니다. 그래서 Houdini를 이용합니다.


먼저 obj 파일을 FileSOP에서 Read합니다.
조금 원본 데이터가 너무 크면 얼굴 방향이 정면이 아니므로 transform으로 미세 조정합니다.

그런 다음 VDBfromPolygon에서 VDB로 변환하고 convertVDB에서 다각형으로 되돌립니다.
그러자, 방금전까지 덜컥했던 표면이 매끄럽게 되었습니다.
얼굴의 뒷면은 방해이므로 클립으로 제외합니다.

VDB로 변환하면 Cd의 속성이 손실됩니다. 그래서 attribtransfer에서
Cd 정보를 변환 전 상태에서 변환 후 모델로 되돌립니다.

다만 역시 Cd가 아니라 텍스처를 이용하고 싶은 곳.
UV를 지정하여 텍스처 베이크를 수행합니다.


텍스처 베이크는 BakeROP을 이용하여 머티리얼을 적용한 모델의 basecolor를 출력합니다.
자세한 내용은 일본어 정보 블로그
base에 체크를 실시하면 렌더링합니다.

출력이 완료되면 포토샵에서 미세 조정을 수행합니다.

조정이 완료되면 텍스처를 로드하여 추가 Cd 정보를 삭제합니다.
그리고 마지막 조정으로 polyreduce를 수행합니다.
여기 참조

Houdini 16.5부터 이전보다 UV 정보가 무너지지 않고 다각형을 줄일 수 있습니다. 훌륭합니다.

마지막으로 obj를 출력하여 완료입니다. hip 데이터는

여러 사람의 얼굴을 만들어보세요.