CV VTuber Example 설정~ VRM이 웹 카메라로 이동할 수 있을 때까지~

CV VTuber Example 소개
2018년 5월께 자산상점에서 무료로 배포한 것으로, 간단히 Vtuber의 자산이 될 수 있다.
하지만 무료이지만 호스트에서만 OpenCV for Unity(\$95)와 DLIb Face Landmark Detector(\$40)가 필요하기 때문에 이동하려면 그에 상응하는 비용이 든다.
교정에 필요한 기자재는 웹캠뿐이며, 웹캠에서 확보한 영상은 DLIb을 통해 특징점을 판단해 위치 추정과 표정을 반영한다.
또한 유니티와 같은 유니버설 모델부터 VRM 모델까지 다양한 모델에 대응한다. 라이브 2D 모델은 모두 대응한다.
작업 환경

Windows10

Unity2017.4.12f1

UniVR-0.49

자산 활용

OpenCV for Unity ver.2.3.5

Dlib FaceLandmark Detector ver.1.2.7

CV VTuber Example ver.1.0.4

CV VTuber Example 설정
1. Unity용 OpenCV 도입
OpenCV for Unity 자산상점에서 도입한다.OpenCVForUnity/Examples/Advanced/AlphaBlendingExample의 샘플 장면을 열면 다음과 같이 되면 성공합니다.

2. DLIb FaceLandmark Detector 도입
Dlib FaceLandmark Detector 제가 가져올게요.
가져오기가 완료되면 DlibFaceLandmarkDetector/StreamingAssets/ 디렉토리 아래의 haarcascade_frontalface_alt 파일 이외의 파일을 OpenCVForUnity/StreamingAssets/ 디렉토리로 모두 이동합니다.
이동한 상태DlibFaceLandmarkDetector/StreamingAssets/
이동한 상태OpenCVForUnity/StreamingAssets/
파일 이동이 완료되면 디렉토리OpenCVForUnity/StreamingAssets/를 디렉토리DlibFaceLandmarkDetector/와 OpenCVForUnity/가 있는 위치로 이동합니다.

다음 그림과 같이 샘플 장면DlibFaceLandmarkDetector/Examples/Texture2DExample을 실행하면 성공합니다.빨간색 테두리와 녹색 테두리가 있는지 잘 확인해 보세요.

3. CV VTuber Example 도입
가져오기CV VTuber Example.CVVTuber/Examples/VideoCaptureCVVTuberExample의 샘플 장면은 다음과 같이 동작에 성공했다.

4. VRM 모델 사용Assets/CVVTuberExample 아래에 ReadMe가 추가되어 있으며 가져오기 단계는 모두 영어로 작성됩니다.참고하면서 설정하세요.하지만 2019/5/18 현재 최신 버전인 CV VTuber Example ver.1.0.4의 ReadMe는 구 버전부터 글만 업데이트되었습니다. 이미지가 업데이트되지 않았음을 설명하고 설명과 설명이 일치하지 않습니다. 주의하십시오.기본적으로 문장을 믿으면 된다.
4-1.UniVRM 도입
노트 를 발행 하다에서 UniVRM을 가져와 Unity를 가져옵니다.(Readme의 글은ver0.49로 그림이ver0.38이라는 것을 설명합니다. 그림이 업데이트되지 않았습니다. 저는ver0.49에서 이동합니다.)
4-2.VRMCVtuber 가져오기
켜기Assets/CVVTuberExample/CVVTuber/Addons/VRMCVVTuber.unitypackage, VRMCVtuber를 가져옵니다.VVTuberExample\CVVTuber\Addons\VRMCVVTuber\Examples의 샘플 장면을 엽니다.

4-3.vrm 모형 준비
Vtuber의 VRM 모델 데이터를 자체 컨테이너로 가져옵니다.
예를 들어, 를 사용합니다.
알리시아 고체 상태에서 Alicia까지.zip을 다운로드하고 압축을 풀다.Alicia.zip 해동된 Alicia\VRM\AliciaSolid.vrm 를 Unity로 드래그합니다.
배포 페이지
vrm가 전개되면 생성AliciaSolid.prefab이 성공합니다.

AliciaSolid.장면에서prefab를 설정하세요.

4. VRMOader에 메타 데이터 등록
Alicia Solid를 VRMControllManager의 메타 위로 드래그합니다.

5. 확인
위의 설정을 완료합니다.재생성 버튼을 눌러 정상 작동 여부를 확인합니다.

Q&A
Q. GiitHub을 사용하여 관리하는 동안 오류가 발생했습니다...
A. 아래의 매우 큰 파일(100MB 이상)은 OpenCV for Unity에 포함되어 있습니다.대용량 파일로 욕을 먹을 수 있으니 주의해야 한다.
- VRMLoader- Assets/Externals/OpenCVForUnity/Plugins/iOS/opencv2.framework/opencv2해결 방법 참조.
Q. 눈과 입을 움직이지 않는다
A.Dlib FaceLandmark Detector의 정상적인 작동이 의심스럽습니다.Assets/Externals/OpenCVForUnity/Extra/exclude_contrib/iOS/opencv2.framework/opencv2에서 파일의 이동과 디렉터리 경로를 확인합니다.
Q. 카메라가 안 잡힌다
A.
콘솔에는 2.Dlib FaceLandmark Detectorの導入 같은 거 없나요?
→카메라가 원래 인식되지 않았다.유닛 이전 문제인 만큼 윈도우즈 설정 등을 재고해야 한다.
• 카메라를 찾은 것 같은데 화면이 어둡다
→콘솔에는 "Cannot find camera device " 이렇게 사용하는 카메라에 대한 상세한 정보가 있어야 한다.그 카메라 이름이 본인이 예상했던 카메라인가요?다른 경우 W e b camtexturematSourcegetter 접두어의 WebCamTextureToMatHelper 구성 요소의 Requested DeviceName 장치 이름에 카메라 이름을 입력합니다.(FaceRig을 사용한 사람은 기본적으로 WebCamTextureToMatHelper:: devicename:[カメラ名]: width:640 height:360 fps:15 videoRotationAngle:0 videoVerticallyMirrored:False isFrongFacing:True라고 말한다.)
[Giit LFS] push OpenCV for Unity 욕먹고 싶은 사람들이 보는 페이지.
Q. 별로 귀엽지 않고 정밀도도
A.화이팅