아무도 안 썼잖아?Nuiitrack을 사용한 서비스

디지털 표지판인 일본 2018 에무토이 부스에는 누트락을 이용한 포스트 에스티메이션 서비스가 게시됐다.
트위터 참조
Nuitrack을 개발할 때 블로그에서 일본어를 소개하는 글을 봤지만 실제로는'서비스까지 가져갔다'는 기사를 발견하지 못했다.(※ 2018년 2월 시점)
아무도 하지 않을 가능성이 높은 누리트랙과 Intel RealSense D415 조합을 사용하기 전의 시행 오류를 기록으로 남겼다.

서비스 개요

E-mote라는 2D의 다변형 캐릭터 묘사 엔진(이 유형의 설명은 어렵지만 그물 모양의 변형을 대량으로 합성한sprite)의 터치 교류 응용은 더블샷 촬영 기능을 추가했다.
사진을 찍을 때 유저의 거리가 너무 멀어서 UI 조작으로 액정을 만질 수 없기 때문에 PoseEstimation을 트리거로 사용합니다.

대상 환경

다음 개발 환경에서 일합니다.리얼센스의 펌웨어는 가능한 한 스테이블로 요즘 녀석들을 업데이트하는 게 좋을 것 같아요.

Windows 10 64bit

Visual Studio Community 2017(Unity 가입 후 함께 들어간 녀석)

Unity 2017.1

Intel RealSense D415(FW:05.09.09.02)

Nuitrack 가져오기

설치하고 설명하면 길어지니까 사랑을 끊어요.투덜거리면 소개된 기사를 찾을 수 있으니 잘 활용하세요.
또한 무료 버전은 5400frame의 시용 종료(30fps 계산 3분)

이 시험이 끝난 후 누리트랙의 허가증이 제대로 인증되지 않으면(등록된 RealSense와 다른 RealSense 등이 연결되어 있음) 화면에 시험판 등이 표시되지 않고 Tdv:누리트랙::LicenseNotAcquiredException이 날아갈 수 있으니 잘 catch해야 한다.
이거 까먹었어. 푹 빠졌어.
"분명히 개발기에서는 안정적이었는데 본체에서는 떨어졌어! 뭐?"
이 경우 누리트랙의 라이선스는'PC 환경+리얼센스 일련 번호의 조합'으로 제작된 것으로 보인다.
nuitrack.com 다음 글이 있는데 센서가 다른 PC로 이동하면 License Not Acquired Exception이 날아가기 때문에 PC와 Sensor는 1:1 관계로 사용을 허가받는 것이 좋다고 생각합니다.
Is Nuitrack Pro license linked to the hardware or to the sensor?
The Nuitrack license is associated with a sensor serial number. Besides, the hardware that you use is also checked at Nuitrack runtime. The license is non-portable, but you can to reactivate the license if you use new hardware with the same sensor.

사전 요구 사항에 대한 간단한 설명

Pose Estimation에서 얻을 수 있는 Skelton이 어떤 물건인지 설명해 주세요.

Skelton 정보

Nuiitrack의 공식 이미지에서 어떤 Skelton을 얻을 수 있는지 인용합니다.
　 http://download.3divi.com/Nuitrack/doc/classnuitrack_1_1Skeleton.html

KinKict를 접촉한 사람이라면 아마도 마찬가지라는 것을 알아차릴 것이다.부자관계를 조금만 바꾸면 기존 코드의 사용법이 수월해진다.Kinnectv2로 nuitrack 자산 이동도 나왔는데 그 프로젝트를 직접 사용할 수 있지 않을까 싶어요.
인체의 형상이 스켈튼을 검출할 수 있기 때문에 아래의 이런 협박이 있으면 디버깅이 순조롭게 진행될 것이다(진짜)

마구잡이

원래 nuitrack는 촬영 대상의 중심 높이에 수평으로 놓여 있다고 생각했는데, 어느 정도 무단으로 사용할 수 있는지 시험해 보았다.
아래 그림은 높이 2000mm, 45도 정도의 부감 촬영을 설정한 결과입니다.한 번만 알게 해주면 따라갈 거야.의자에 앉으면 의자도 연속으로 사용되기 때문에 스켈튼은 확실히 인체의 모양을 따라 움직인다.

실용적인 수평 굵은 선

Nuiitrack이 고관절 부근에서 위를 찍지 않으면 Pose Estimation이 시작되지 않지만, 이걸 직접 서비스에 도입하려면 카메라 앞에서 2m가 넘게 나가야 하기 때문에 서비스로서 가져오기가 매우 어렵다.나는 이것이 KinKanect에서도 마찬가지라고 생각한다.
이를 서비스 수준으로 낮추기 위해 모니터에서 1.5m 정도 떨어진 곳에서 식별할 수 있도록 카메라를 모니터 머리에 설치해 대상물을 내려다보는 거리로 대응한다.
관절을 찍을 필요가 있는데도 억지로 내려다보는 이유는 아래에 카메라가 있다고 가정하면 여성들이 싫어하기 때문이다.몰카 목적이 아니더라도 치마를 입은 여성은 저각도 카메라에 접근하려 하지 않는다.
E-mote Communicator는 3D 프린터를 통해 다음과 같은 결합된 설치 클립을 제작하고 테스트합니다.검증 대상의 키는 1700mm이다.

높이(mm)
각도
1.5m의 식별
2000
20도
△
2000
30도
△
2000
45도
X
2100
20도
△
2100
30도
O
2100
45도
X
표면에 거의 없는 것은 무슨 문제가 있기 때문이다.
구체적으로 하반신의 스켈튼은 찾지 못해 식별 자체가 불가능했고, 이런 상태에서 온전한 신체를 얻으려면 각도를 거의 설정할 수 없다는 검증 결과가 나왔다.
다음 기고문에서 Unity에서 실제로 사용하는 곳을 설명해 주세요(정력과 시간을 주세요)