온천구 카메라 및 VR 고글, 원격 체험

※작업 목록

■ 만들 것

늦을지도 모르지만 유행하는'VR'과를 타야 한다

다른 기재로 전천구 카메라로 촬영한 영상을 실시간으로 보는 환경

시각적 정보일 뿐이지만 원격 감지를 할 수 있도록

우선, 유행하는'짜증'에서 이미지를 공유한다
https://www.irasutoya.com/

정거리 원통 도법을 봉합한 데이터를 구형체에 붙이지 않을 것이다
촬영 이미지의 Dual Fisheye 데이터를 실시간으로 처리합니다.
나는 가산대학교 침대우물연구소와의 정보를 참고했다.정말 감사합니다.
어안 렌즈 영상 평면 전개
겸사겸사 말씀드리다
마침 인터페이스 2018년 7월호에 기사가 났습니다.
https://shop.cqpub.co.jp/hanbai/books/MIF/MIF201807.html
sphere에 붙인 경우 아래 사이트에 쓰십시오.
* 고무 파이로 THETAS의 mjpeg를 받아서 LAN으로 유니티에게 보내는 방법
* 저는 Theta UVC Blender를 해보고 왔습니다.
* Openframeworks 온천구로 THETAS 애니메이션 재생성(의2)

■ 준비된 것

라즈파 관련(2세트)

케이크 본체
→　Raspberry Pi 3 Model B+

microSD 카드
→　SanDisk microSDHC 98MB/s 32GB Ultra SDSQUAR-032G

전원 AC 어댑터
→ Physical Computing Lab 전원 그룹(5V5.0A4USB 포트) Double Cable 포함
※ ON/OFF 스위치가 있는 케이블

섀시(Raspberry Pi3 Model B+ 지원)
→ RS 어셈블리 엔클로저 화이트

히트싱크(만일의 경우)
→ 웨이브 라즈베리 파이 2/3 모델 B용 라디에이터 3시

유선 LAN 케이블

촬영 처리 관련

Insta360Air(MicroUSB 버전)
※ 어안 렌즈와 센서로 직접 만들고 싶지만, 완성품으로 대체하면

소프트 케이블(USB)
→ 갈대 MCO 복어 - 병목 USB 연장 케이블 30cm USB-EX21BK
※ 경도가 다소 부족할 수 있습니다.. 나나미라면 Insta360Air를 지탱할 수 없습니다
※ 구부림을 반복하면 바로 끊어집니다.

MicroUSB<->USB 변환 고정장치
→ 유명인 USBAA-MCB 변환(USB A 수컷-microB 암컷)

시점 처리 관련

arduino
→　Arduino Uno R3

3DoF 센서
→ Arduino9축 동작 차단
※ 현재 재고가 없습니다.설마 생산이 끝난 건 아니겠지?BOSCH BNO055는 사용하기 좋으니 부활을 바랍니다.

스위치
→　JOYPAD411
https://kata2coro.jimdo.com/joypad411/

처리 관계 표시

액정 스크린
→ SHARP5.5인치 고정밀 CG 실리콘 LCD 패널 그룹 1080×1920 포인트 래스터용 [LS055-CGS-LD-SET]

LCD 케이스
→ emerge+5.5인치 CG 실리콘 LCD 케이스
https://shop.emergeplus.jp/cgsi-enclosure/

VR 고글
→ 전자상거래 3D VR 고글 P-VRG03BK

PET 투명판(1mm 두께)

M3x12mm 나사(나사 헤드가 얇음)

HDMI 케이블(숏)

USB-MicroUSB 케이블(숏)

장치 설치 관련

모바일 배터리
→　cheero Power Plus 10050mAh DANBOARD CHE-066
※ USB 커넥터는 3.0A

최고의 낚시

마술띠

개발 환경

WindowsPC

microSD 카드 리더기

■ 기술적 요소

자세한 내용은 GitHub 측면에 기록되므로 Qiita 측 검색 적중용 레코드

Raspbian Stretch

V4L2 (UVC)

H.264/MotionJPEG

FFmpeg

OMXPlayer

OpenGLES

Shader

Mesh

texture

3DoF

Quaternion

hostap

802.11n/802.11ac

mjpg-streamer

openFrameworks

ofxSerial

Serial Line Internet Protocol (SLIP)

■ 작업 일람표

글의 첫 페이지

사다리꼴 맵 초기 설정

촬영 측면 데이터 구축

측면 격자선 구조 표시

FFmpeg 배포

H264 지원

openFrameworks 배포

전 천구에서 VR 디스플레이 생성

3 아두이노 기반 구축

VR 고글 조립

연결 동작

미조

■ 결과

아무튼 움직이는 수준.
→ 소스 코드 등 GitHub 저장소 참조
https://github.com/sisinn/raspi_telexistence_vr
시범으로 수박을 자르는 동작을 촬영해 보았다.

■ 비교

원격 위치에서 시각 정보를 공유할 때
*방식1: 촬영 옆에서 2개의 눈 영상을 제작한 후 보내는 모드
*방식2: 촬영 측면에서 가공하지 않고 천구를 모두 보내는 모드
각자의 장단점이 다르다.
방식
방식
네트워크 부하
낮음
높다
해상도
높다
낮음
입체 시차
〇
✖
공간 자유도
6Dof
3Dof
반응 속도(절레절레 대비)
느리다
빠르다
관람자 수
1 명
여러 개
전신의 주류는 방식 1로 여겨지지만 상황에 따라 이번에 구축된 방식 2도 활성화될 수 있을까?

■ 남은 과제

어안 렌즈+센서, 전천구 카메라 모듈 자체 제작

촬영 → 표시 지연 감소

프레임 속도 개선

WiFi 연결, 11ac 지원

해상도 향상

3DoF 반응 속도 향상

전후 센서 경계의 봉합 처리 최적화

촬영 측면 장치의 설정 자유화(3축 자동 수정)