Unity 3D에서 MMD 모델을 사용하여 VTuber가 되는 과정 요약(설정편)

전조와 환경

이 기사는 Unity 3D에서 MMD 모델(.pmx)을 사용해 가상 사용자가 되기 위해 다양한 조정을 한 기록이다.나는 통속적이고 알기 쉽게 쓰려고 최선을 다할 것이다.또 중간에 글 쓰는 걸 포기할 수도 있어서 그때 미안했어요.
그렇다면 환경은 다음과 같다.

Unity 2017.3.1 f1

OpenCV for Unity $95

Dlib FaceLandmark Detector $40

CV VTuber Example FREE

MMD4Mecanim (Beta) Open Source

웹캠 1대

2호와 3호는 매우 높은 유료 자산이기 때문에 "절대 유닛의 VTuber가 돼야 한다!"끈기가 없는 사람(또 다른 방법), 인코딩에 자신이 없는 사람이 여기서 포기하는 것도 방법이다.(1년 정도 살까 말까 고민이에요.)

설정

위와 같은 환경을 구매해 정리한 뒤 CV VTuber Example에 있는 유니티 소스의 예를 먼저 설정해야 한다.

Asseet Store에서 DL, OpenCV for Unity를 가져옵니다.

Asseet Store에서 DL, Drib FaceLandmark Detector(이하 DFD라고 함) 가져오세요

도구 모음의 Tools > OpenCV for Unity > Set Plugin Import Settings를 실행하고 플러그인을 설정하십시오.

4. 도구 모음Tools > DFD > Set Plugin Import Settings을 실행하고 플러그인을 설정합니다.

이 때 OpenCVForUnity 폴더에 있는StreamingAssets가 OpenCVForUnity 폴더에 있다면 바로 아래로 이동하십시오.(이미지는 모든 설정이 끝난 후의 이미지)
Assets/OpenCVForUnity/StreamingAssets를 Assets/StreamingAssets로 이동

DFD의 ReadMe에 기록된 대로 Assets/DFD/StreamingAssets 중 4개의 파일을 Assets/StreamingAssets로 이동합니다.파일은 다음과 같습니다.

dance.avi

haarcascade_frontalface_alt.xml

sp_human_face_68.dat

sp_human_face_68_for_mobile.dat

6. Asset Store에서 CV VTuber Example을 가져옵니다.(CV VTuber Example의 ReadMe에 가장 먼저 가져와야 한다고 적혀 있는데 내 환경에서 스크립트 참조 오류가 발생해 치유할 수 없어 이 순서대로 가져왔음)
7. 홈페이지에서 유니티 모델 데이터를 다운로드하라(공식 사이트)
8. 폴더 내의 .unitypackage를 실행하고 가져옵니다.
9.Assets/CVVTuberExample/CVVTuber/Addons/에서 UnityChanCVVTuber.unitypackage를 두 번 클릭하여 가져오십시오.
10.Assets/CVVTuberExample/CVVTuber/Addons/UnityChanCVVTuber/의 장면UnityChanCVVTuberExample을 열어 주세요.
11. 도구 모음에서 Tools > CVVTuberExample > Setup UnityChanCVVTuberExample 를 실행하고 설정하십시오.

이때 레벨 창에는 게임 대상unitychan이 있어야 한다.아니요.

마지막으로 unitychan의 애니메이션 제작자 설정에 있는 IK Pass에 체크 표시가 있는지 확인하십시오.

웹캠을 시작하고 디버깅을 시작하십시오.유닛이 네 얼굴에 맞춰 움직일 거야.(카메라가 너무 멀면 다소 미친 듯이 움직인다.)

후기

Unity 소스에 대한 라이센스 기재:© Unity Technologies Japan/UCL
이번에는 유닛 소스로 활동하고, 다음에는 키스나의 MMD 데이터를 활용한 설정편이다.