Unity와 iPhone으로 실시간 페이셜 모션 캡처

PC상의 Unity와 iPhone으로 실시간 페이셜 모션 캡처하는 앱 "iFacialMocap"과 소프트웨어 및 스크립트를 공개했습니다.
htps : //이후 ㅁㅁㅁㅡㅡ 지 m도 f 예. 코m/


현재의 3DCG계의 VTuber의 대부분은, 아마 인간의 얼굴의 움직임을 캡처하지 않고 「립싱크」라고 불리는 「소리의 소리」에 반응해 표정이 움직이고 있는 것이라고 생각됩니다.

현재의 VTuber의 움직임은, 「아」라고 하는 소리를 내면 「a」의 블렌드 셰이프를 움직여, 「이」라고 하는 소리를 내면 「i」의 블렌드 셰이프를 움직여.... 현실의 인간의 움직임을 캡처하는 것이 아니라 소리에 반응하는 것뿐입니다. OVRLipSync라고 하는 것을 사용하고 있는 쪽이 많은 것이 아닐까 생각합니다. 또, VTuber의 눈·안구의 움직임은 Eyes Animator라고 하는 에셋을 사용하고 있는 분도 많은 것이 아닐까 생각합니다.
그 밖에, 가상 모션 캡쳐라고 하는 소프트에 탑재되고 있는 립 싱크 기능등을 사용하고 있는 경우도 있을지도 모릅니다.

애니메이션조의 디자인의 VTuber라면 그래도 좋지만, 조금 전에 Twitter로 뻗어 있던, 이하와 같은 리얼에 가까운 3DCG를 움직이려고 하면 립싱크만으로는 실현할 수 없습니다.

Digital Human based on Unity HDRP.AR remote, Realtime Raytracing SSAO.it can follow user's facial moving by iphone.Individual works by Hyeong-il Kim/Gyutaek Lee #unity #hdrp 피 c. 라고 r. 이 m/n 1TKZt2m8w — illu .

그러나 iFacialMocap을 사용하면 인간의 움직임을 캡처 할 수 있으므로 위의 트윗과 같은 모션 캡처도 가능합니다. (모델링과 셰이더 기술만 있으면 이야기입니다)

위의 트윗 동영상은 iPhoneX의 모션 캡처 기능을 사용하여 제작되었습니다.

다운로드는 아래에서

December 30, 2019

홈페이지에서 사용법을 텍스트로 소개하고 있습니다.

htps : //이후 ㅁㅁㅁㅡㅡ 지 m도 f 예. 코 m / 도 w 응 아 d /

YouTube 동영상에서도 사용 방법을 확인할 수 있습니다.

htps //w w. 이후아시아 l모카 p. 코 m / 쓰리 아 l / 우니 ty / 자파네세

htps: //같다. 베 / 7없이 SQ0tVZ