Virtual Chara

환경:
Windows 10
Unity 2018.4.1
RealSense D435

필자가 Nest+Visual에서 조인한 첫 번째 프로젝트는 Unity와 RealSense D435의 깊이 카메라를 사용하여 사용자의 행동을 3D 캐릭터의 애니메이션에 반영하는 프로그램을 만드는 것이었습니다.
이 프로젝트의 개념은 주로 매장 등을 대상으로 가상 캐릭터를 매장에서 표시하여 원격지에서 조작합니다. 캐릭터로, 기간 한정의 캠페인 등, 가게의 관련 정보를 이야기하거나, 장난기 있는 편한 태도로 손님과 대화하거나, 고객의 질문에 대답할 수 있습니다.

htps : // 코 m / 네
이 프로젝트에서는 얼굴 추적에 openCV를 사용하여 사용자 입력에 따라 캐릭터의 머리 회전과 입 움직임을 가능하게했습니다.

목표는 상체의 움직임과 얼굴 표정을 추가하여이 프로젝트를 확장하는 것이 었습니다. 또한 남성 배우가 여성 캐릭터를 연주할 수 있도록 음성 체인저 기능도 필요했습니다.

음성 체인저:

필요한 RealSense 카메라가 아직 도착하지 않았기 때문에 내 첫 번째 작업은 음성 체인저 기능의 개발이었습니다. 우리는 Unity의 애셋 스토어에서 Voice Changer Filter라는 애셋을 찾아 프로젝트에 추가했습니다.
htps : // 어세 ts 잡아라. 글쎄, ty. 코 m / Pac 가게 s / 및 O / O / O / ぉ 이세 짱 r fu l r 54963
그러나 플러그인은 오디오 재생에 거의 1초의 지연을 추가하고 더 이상 불필요한 소음을 추가했습니다. 문제를 해결하거나 다른 방법을 찾기 전에 RealSense 카메라가 도착했습니다.

RealSense SDK2.0 가져오기:

카메라를 준비하고 RealSense Viewer에서 잠시 테스트 한 후 RealSense SDK 2.0의 Unity 래퍼를 찾았으므로 프로젝트로 가져 왔습니다. 여기에는 몇 가지 샘플 장면이 포함되어 있기 때문에 대부분 카메라의 깊이 데이터를 시각화합니다.

어떤 장면이 어떻게 진행되는지에 대한 힌트를 보지 못했기 때문에 Unity와 RealSense 2에서 추적을 사용하는 유사한 프로젝트를 인터넷에서 찾았지만 결국 찾을 수 없었습니다.
찾은 튜토리얼과 예제는 모두 이전의 원래 RealSense SDK를 사용했지만 현재는 더 이상 사용되지 않습니다. 인텔에 연락했을 때 추적은 타사 소프트웨어를 사용하여 수행되었으며 그 중에서도 Gestoos와 Nuitrack을 권장하는 것으로 알려졌습니다.

Nuitrack은 실제로 검색 중에 나와 유망한 것처럼 보였지만 처음에는 RealSense SDK에서만 개발하려고했습니다. 그러나 추적을 처음부터 개발하기 어려울 것 같았습니다. 이 프로젝트에 권장되는 두 가지 중 Nuitrack이 가장 적합하다고 생각했기 때문에 더 사용해보기로 결정했습니다.

Nuitrack에 관해서는 다음에 게시합니다. 그럼 다시