스마트 폰용 VR에 6DoF 기능과 핸드 트래킹 기능을 구현해 보았습니다.

(Unity 자산과 코드는 여기)

여러분 안녕하세요.

조속하지만, VR(가상 현실)은 물론 알고 계십니까?
고글을 붙여 주는, 저것입니다.

지금은 고글이나 컨트롤러의 위치를 ​​인식하고 자유롭게 돌아다닐 수 있는 6DoF라는 기능이 있습니다.
또한 최근에는 Oculus Quest가 핸드 트래킹에 대응했다는 것도 듣습니다.

그러나 이러한 VR은 Oculus와 Vive 등 전용 고글이 필요하고 그 때문에 쉽게 시도할 수 없다는 인상이 있다고 생각합니다.
나도 실은 없다.

그러나 스마트 폰을 끼는 것만으로 할 수있는 간이적인 고글도 존재합니다.
지금은 100균이라도 팔고 있다고 합니다.
이것이라면, 싼 지출로 간편하게 VR을 체험할 수 있다는 것입니다.
단, 현재는 6DoF나 핸드 트래킹에 대응한 것이 거의 없습니다.

그래서 실제로 만들어 보았습니다.
라고 해도, 처음부터 만드는 것은 나에게는 무리이므로, 기존의 기술을 유용합니다.
개발 환경은 Unity이며 현재는 Android 스마트폰에만 대응하고 있습니다.

첫째, 안드로이드 스마트 폰에는 ARCore라는 기능이 있습니다.
그 이름대로 AR에 사용되는 것으로, 이것을 사용하면 스마트 폰의 카메라 내용에서 고글의 위치를 ​​인식 할 수있게됩니다.
이것에 의해, 6DoF와 같이, 자유롭게 돌아다닐 수 있게 됩니다.
이것은 사실 과거에 했어 일이 있습니다만, 새로운 버젼의 Unity에는 대응할 수 없었기 때문에, AR Foundation 를 사용하는 형태로 다시 구현했습니다.

그런 다음 핸드 트래킹을 구현하기 위해 MediaPipe이라는 것을 사용했습니다.
이것은 기계 학습 모델을 활용하는 데 사용되는 라이브러리라는 것이지만, 그 샘플 중 하나에 핸드 트래킹이 있기 때문에 그것을 사용했습니다.
다만, Unity에서는 그대로는 사용할 수 없기 때문에, 그것으로 실행할 수 있도록 일부 변경했습니다.
고리 강요에 실장했기 때문에, 성능이 약간 떨어진 것 같은 생각도 합니다만, 어떻게든 되고 있습니다.

이 두 가지를 사용하여,


이렇게 자유롭게 돌아다니거나



손을 인식시켜 움직이거나 할 수 있게 되었습니다.

앞서 언급했듯이 ARCore에 대응하는 안드로이드 스마트 폰과 스마트 폰 VR 용 고글이 있으면 비싼 고글이 없어도 시도 할 수 있습니다.

덧붙여서, 이 핸드 트래킹으로, 소녀의 가슴을 만지거나, 스커트를 넘기거나 할 수 있는 앱을 개발했습니다만, 훌륭하게 거절되었습니다.
공개할 수 있으면 재료로서 최고라고 생각하고 있었습니다만, 어쩔 수 없네요.

또, Github에서 자산과 코드를 게시하고 있습니다. 그래서, 6DoF나 핸드 트래킹이라고 하는 이러한 기능을 사용하고 싶은 분은, 꼭 사용해 보세요.

이상입니다.