입문

가상 캐릭터가 얼마나 존재하는지 느끼는 것은 매우 큰 과제다.
그 존재를 표현할 때 표정은 매우 큰 요소이다.
다양한 장면과 상황이 있고 가상 캐릭터에서 표정 개념을 실현하는 기법도 다양하다.
나는 이것이 옳다고 생각한다. 모든 활동과 가상 캐릭터가 공을 들였다.
그럼에도 불구하고 어느 정도 자주 사용하는 기법과 조합이 있다고 생각해서 제가 알고 있는 것을 소개해 드리겠습니다.
(Unity와 같은 실시간 게임 엔진에 시스템을 조립하는 전제에서 최종 제품의 VTuber 시스템을 생략합니다.)

장치 및 소프트 모드

헤드 카메라 + Dynamixyz

헬멧 같은 것에 카메라를 설치하고 얼굴을 자주 상영하며 그 영상에서 표정을 분석해 캐릭터에 반영한다.

출처: 츠청현에서 발생한 사람들의 주목을 끄는 지역 밀착형 가상 등장 인물: 츠청현 공인 Vtuber'츠비'

출처: Dynamixyz

이점

얼굴 추적 카메라의 위치에 의존하지 않고 돌릴 수 있음

추적 손실 감소

항상 높은 정밀도로 많은 정보를 얻는다

결점

무거워요

동작 방해

시야가 좁아짐

(분석 소프트웨어에 따라) 높은 비용

풍부한 정보를 얻기 때문에 모델 설정도 어려워지기 쉽다

사용된 장면

얼굴 추적 카메라의 위치에 의존하지 않고 이리저리 움직일 수 있기 때문에OptiTrack와Vicon 등 풍부한 광학식 운동으로 이리저리 움직일 때 효과적이다.
이 방법을 채택할 때 금전적으로 여유가 있는 패턴도 많기 때문에 표정 해석 소프트웨어Dynamixyz가 선정된 경우가 많다.
Dynamixyz는 영화 제작과 게임 현장에서 사용하는 해석 성능이 매우 높지만 가격에 대해서는 절충적이다.

사용된 인스턴스

Vtuber'츠비'가 헤드폰과 Dynamixyz의 조합츠청현에서 발생한 사람들의 주목을 끄는 지역 밀착형 가상 등장 인물: 츠청현 공인 Vtuber'츠비'을 공개했다.

[#01] 처음 뵙겠습니다. 츠비입니다!자기소개편~
매우 높은 정밀도의 표정 반영을 실현하는 동시에 몸 전체의 큰 동작을 실현하여 매우 매력적이다.

iPhoneX+ARkit FaceCapture

아이폰X 이후의 TrueDepth 카메라에 장치를 탑재하여 사용할 수 있는 ARkit의 FaceCapture의 표정 해석 데이터와 VTuber 시스템이 통신하여 그 데이터의 등장 인물을 반영하도록 한다.

출처: iPhone X offers a cheap alternative to mo-cap

이점

낮은 장비 획득 장벽

설비에도 표정 분석 소프트웨어가 있어 종합적으로 싸다

보급 설비이기 때문에 인터넷에 개발 지식이 많다

일반적인 사용 습관이 있는 장치이기 때문에 VTuber 시스템을 비엔지니어가 사용하는 구상에 쉽게 빠뜨린다

결점

머리에 끼면 무거워요

모니터 시야 방해

카메라를 책상 등에 고정하는 경우가 많은데 이때 동작이 제한된다(카메라 시야각을 고정하여 이동할 수 있는 범위)

스마트폰 단말기와 통신 필요

사용된 장면

장치가 무겁게 커서 머리 앞에 끼고 돌리는 것은 비현실적이기 때문에 책상 위에 고정시켜 게임 실황과 잡담처럼 기본적으로 돌리지 않는 것이 효과적이다.

사용된 인스턴스

이 메서드는 2차 3D발표하다에 사용됩니다.

출처: "3D 실황 녹음 편지, 나 혼자."3D 어플리케이션, 가상의 Liver로 두 번 출시!

단풍나무의 무지개 3D 공개 & 중대발표!!
운동의 제한이 있지만 보급 설비에서 이런 정밀도를 달성할 수 있는 것이 최고다.

WebCamera + Dlib

Dlib은 기계 학습 라이브러리 중 하나로 얼굴 기관 검사를 쉽게 할 수 있다.
그것을 사용하여 얼굴 특징점 검사 시스템을 스스로 조립했다.

이점

실질무료

결점

설치자의 팔에 따라

※ 층이 낮은 곳에서는 장점과 단점을 모두 설치해야 하기 때문에

사용된 장면

오리지널 제작 시스템을 생각할 때나 특별히 어떻게든 검출하고 싶은 얼굴 기관이 있는 경우에 효과적이다.
나는 처음부터 하는 것이 매우 힘든 개발이라고 생각한다.(학습 목적으로 하면 즐겁다.)

사용된 인스턴스

AssetStoreUnity용 플러그인 판매에 있습니다.

GamePad+ 독립 실행형 시스템

표정 추적을 하지 않고 컨트롤러의 입력에 따라 시선을 바꾼다.
이런 방법은 자동이 아니기 때문에 수동으로 조작하고 소리 게임처럼 타이밍에 맞춰 조작해야 한다.
사용되는 컨트롤러는 PS4, Xbox, Swich...
HMD를 사용하는 상황에서 HMD의 컨트롤러도 표정 조작의 컨트롤러가 되기 쉽다.

출처: Xbox360 컨트롤러

이점

애니메이션 표현이 쉽다

낮은 설치 비용

(원래 추적이 없기 때문에)동작이 안정적

배우미행부담없음

결점

표정 조작자에 의존하는 기교를 표현한다

캐릭터 수를 준비해야 하는 표정조작 캐릭터

사용된 장면

안정적인 운행으로 모델의 설치 원가가 낮기 때문에 일회성 사건에서 효과적이다.
또한 HMD에서 얼굴을 숨기거나 격렬한 동작을 하며 표정 추적이 어려운 상황에서 효과가 있다.

사용된 인스턴스

VRchat 등이 맞습니다.
컨트롤러를 눌러 표정을 바꾸다.

출처: Steam
또한 표정 추적만으로는 구별할 수 없는 특수한 표정(><← 이런 표정 등)을 보완하기 위해 추적 시스템과 조합하여 사용하는 경우도 많다.

출처: 츠청현에서 발생한 사람들의 주목을 끄는 지역 밀착형 가상 등장 인물: 츠청현 공인 Vtuber'츠비'

비교 요약

모든 수법에는 메리드메가 있는데, 나는 완전히 상위를 바꿀 수 있는 것은 거의 없다고 생각한다.
특히 외관 부분에서 나는 어느 정도 모델리스트, 엔지니어와 연기자가 장인에 대한 조정 때문이라고 생각한다.
체제와 예산을 운용하고 잘하는 분야에 가장 적합한 기법을 조합하는 느낌이죠.
헤드 카메라 + Dynamixyz
iPhoneX +ARkit FaceCapture
WebCamera + Dlib                  
GamePad+ 독립 실행형 시스템
초기 비용
★☆☆☆☆
★★☆☆☆
★★★★☆
★★★★★
운영 비용
★☆☆☆☆
★★★☆☆
★★★☆☆
★★☆☆☆
구현 비용
★★☆☆☆
★★☆☆☆
★☆☆☆☆
★★★★★
강연자 부담
★★☆☆☆
★★★★☆
★★★☆☆
★★★★★
정밀도
★★★★★
★★★★☆
★★★☆☆
★☆☆☆☆
연기 반영도
★★★★★
★★★★☆
★★★☆☆
★☆☆☆☆
※ 별의 수가 많을수록 그 항목에서 우수합니다.
이것은 개인의 주관적인 비교이지 절대적인 비교가 아니라는 것을 주의하십시오.