MobileNet-SSD-RealSense　 I wrote an English translation at the end of the article 이미지 크기가 크기 때문에 Wi-Fi 환경에서 찾아보는 것이 좋습니다. ◆ 지난번 보도 심도 카메라 Real Sensed 435로 "자줏빛 오징어" 와 "주황색 양파" 를 썰고, "금발 인간" 을 추적하여 거리를 측정한다(1) with Ubuntu 16.04
딥 카메라 리얼센스D435로'보라색 오징어'와'오렌지색 양파'를 썰고'금발인간'을 추적해 거리를 측정한다(2) with 라즈베리Pi3(Raspbian Stretch)
Raspberry Pi3(Raspbian Stretch)+Intel Movidius Neural Compute Stick(NCS)+Real Sensed435+MobileNet-SSD로 물체를 고속으로 감지하는 동시에 오공과 모니터의 거리를 측정합니다.
계속하다

◆ 우선

심심하다그래.미안하지만, 나는 너무 짜증난다.
나는 틀림없이 매우 놀랄 것이라고 생각하니, 이렇게 말하지 말고 가볍게 길을 돌아 가세요.
재미있는 기사를 쓰지 않으면'좋아요'는 거의 받지 못하는 경향이 강하지만 체력이 없어서 마음대로 쓴다.
사회는 엄격해, 아니, 일본인은 엄격해...
정겨운 사람, 꼭 좀 도와주세요.
사용할 수 있는 수준 아닌가요?이 정도면 더욱 우두둑우두둑하게 공연을 향상시켰다.
ARM Quad Core 및 Python Name
RealSense D435 사용을 전제로 하는 프로그램이지만 일반적인 USB 카메라로 변경하는 것은 어렵지 않다.
2018/07/23 USB 카메라 추가 모드
입력 해상도를 4배 높인 토대에서 다음 보도의 2배 이상의 성능이 나왔다.
물론 예비 침전 속도는 봉의 극한 성능을 초과하지 않는다.
환율을 앞당기고 싶다면 TX2와 UP Board2를 솔직하게 구매하세요.
또는 거리를 측정할 필요가 없다면 일반적인 저렴한 USB 카메라로 320x240의 저해상도를 시도해 보세요.
YoloV2 기반 초속 MobileNetSSD+Neural Compute Stick(NCS)+Raspberry Pi의 폭속, 고정밀도 다중 동체 검출
카메라 영상 재생 속도: 25FPS~30FPS(카메라 본체의 RealSense는 30FPS로 촬영)
프리페치 속도: 8FPS ~ 12FPS
입력 해상도: 640x480(지난 4배 해상도 ← 코코아 중요, RealSense는 해상도를 더 이상 낮출 수 없음)
25 FPS에 보고된 공식 포럼 투고[Intel Movidius Neural Network Community]
RealSense D435 + Neural Compute Stick + MobileNet-SSD + RaspberryPi3
그럼 나는 빙빙 돌려서 하는 일을 제쳐두고 실제로 물건을 보고 싶다.
ARM 쿼드 코어가 완전히 실행되면 이렇게 됩니다.
비동기적이기 때문에 카메라가 너무 빨리 움직이면 프레임이 벗어난다.
이번 카메라는 촬영 속도가 너무 빨라서 예행연습이 따라잡을 수 없어 지난번보다 편차가 크다.
속도지상주의가 아니라 예뻐 보이고 싶다면 지난번 밸런스가 좋았을지도 모른다.
[유튜브 동영상 생중계 속도] https://youtu.be/tAf1u9DKkh4
[GIF 이미지 10FPS로 악화된 TV 모니터의 측정 및 거리 측정 속도가 높지 않음]

※ 오른쪽에 표시된 프레임 속도는 평균 15프레임으로 표시됩니다.
[USB 카메라 모드 640x480 Multi Stick x4(일본에서는 4배계 왕권이라고 불리는데 메스꺼워서 왠지 개 판정이 섞여 있다)]
[유튜브 동영상 생중계 속도] https://youtu.be/GedDpAc0JyQ

[2018/08/03 동시에 배경이 여러 물체를 통과하는 모드를 추가합니다(희생 속도로 Mobile Net SSD에서 검출된 여러 물체의 배경을 단숨에 통과하면 검출 대상물의 거리는 마케도니아일 수 있고 SSD의 정밀도가 낮기 때문에 상당히 모호합니다. 라즈파로 처리된 것을 고려하면 괜찮을까요?)]
RealSense 필요
[유튜브 영상] https://youtu.be/ApyX-mN_dYA

　
　
Github에 공개된 프로그램의 원본은 여기 있습니다.
PINTO0309/MobileNet-SSD-RealSense

◆ 환경

１．RaspberryPi3 + Raspbian Stretch (USB2.0 Port)
2. Intel RealSense D435(640x480) 또는 USB 카메라
3. Intel Movidius Neural Compute Stick 1개 ← [주의] 멀티스틱(MultiStick)도 좋지만 렌더링이 끌리면 오히려 느려진다
４．OpenCV3.4.2
５．VFPV3
６．Numpy
７．Python3.5 + MultiProcessing
８．NCSDK v2.05.00.02
9. Intel TBB ← 이 번에는 유효하지 않습니다.
10. OpenGL Driver← 이번에는 유효하지 않습니다.
11. HDMI 모니터

◆ 참고로 보도·사사

[검은 손] [Python] multiprocessing 비망록
http://note.crohaco.net/2017/python-multiprocessing/
[파이썬 공식 강좌]
https://docs.python.jp/3/library/multiprocessing.html

◆ 작업 시작 전 전제조건

NCSDK v2.xx, RealSensesDK 및 OpenCV3.4, 기타 모든 항목이 가져옵니다.
(１) 딥 카메라 리얼센스D435로'보라색 오징어'와'오렌지색 양파'를 썰고'금발인간'을 추적해 거리를 측정한다(2) with 라즈베리Pi3(Raspbian Stretch)
(２) RaspberryPi3(Raspbian Stretch) + Intel Movidius Neural Compute Stick NCSDK v2.05 설치

◆ 식단

1.Git Clone.
리소스 그룹 복제

$ cd ~
$ git clone https://github.com/PINTO0309/MobileNet-SSD-RealSense.git

2. USB 포트에 Neural Compute Stick 및 RealSense 1개를 꽂습니다.
3. 집행.이상
사전 처리 수행

$ sudo raspi-config
"7.Advanced Options" - "A7 GL Driver" - "G3 Legacy"

$ cd ~/MobileNet-SSD-RealSense
$ python3 MultiStickSSDwithRealSense.py

◆ 요약

RaspberryPi3Model B(플러스 없음)

ARM4Core 만만히 볼 수 없음

Python을 얕보지 마라

Python의 MultiThread는 쓰레기"Global Interpreter Lock"(통칭: GIL)

전력 소모를 개의치 않는다면,multiprocessing

OpenVINO의 추리 엔진은 NCSDK와 동일합니다.의 정보를 얻었기 때문에 정서가 좀 높아졌다

OpenVINO 조사 재개

OpenVINO에 대해서는 여기의 맨 아래 부분

을 참조하십시오.

시간 있으신 분은 카메라 해상도 320x240으로 ← Git Clone을 사용해 보세요.왠지 리얼센스보다 검출이 빨라서 징그러워요.

라즈베리피3모델B+갖고 싶다...

TX2를 원해...

Caffe 초경량 모델을 말 없이 양산하고 이런 신이 강림하길 바란다

'딥 아저씨'가 아니기 때문에 유행을 이겨낼 수 있다고 생각하지 않고 이기고 싶지 않으며 값싸고 실용적이며 설치의 특화에만 흥미를 느끼는 나쁜 습관

[2018/08/04 추기] Open VINO는 어떻게든 테두리에서 사용하고 싶어서 예약 구매를 했는데...
9월 배송 예정인 것 같습니다.
LattePanda Alpha 864 – Tiny Ultimate Windows/Linux Device
https://www.dfrobot.com/product-1728.html

[2018/08/04 추기] TX2의 직업판에 있는 이 녀석도 신경이 쓰인다.하지만 TX2는 없습니다.
라즈베리 파이3보다 길이가 2cm 정도 크지만 TX2 개발판의 크기를 보면 훨씬 낫다.
Pico-ITX Carrier Board for NVIDIA Jetson TX1 and Jetson TX2
https://www.avermedia.com/professional/product/ex731_aa/overview

◆ 다음 보도

계속RaspberryPi3Model B(무정)로 TX2보다 "느린" MobilenetSSD의 물체 검출 속도를 얻는 동시에 MultiModel(VOC+WIDER FACE)에 대응
　
　

◆ English Article

Intel also praised me again ヽ(공유)Yeah
MobileNet-SSD(MobileNetSSD) object detection and RealSense distance measurement (640x480) with RaspberryPi3 At least 25FPS playback frame rate + 12FPS prediction rate

◆ Previous article

Cut away "purple squid" or "orange colored onion" with the depth camera RealSense D435 and measure the distance by following "blonde person" (1) with Ubuntu16.04
With depth camera RealSense D 435 cut away "purple squid" or "orange colored onion" and measure "distance" by following "blonde person" (2) with RaspberryPi3 (Raspbian Stretch)
RaspberryPi3 (Raspbian Stretch) + Intel Movidius Neural Compute Stick(NCS) + RealSense D435 + Measure the distance to Goku and the monitor while detecting objects at high speed with MobileNet-SSD

◆ Introduction

Camera image playback rate: 25FPS to 30FPS (RealSense of the camera body is captured at 30FPS)
Prediction rate: 8FPS to 12FPS
Input resolution: 640x480 (4 times the previous resolution ← important here, RealSense can not lower the resolution any more)
When ARM quad core is fully operated, it becomes like this.
Since it is asynchronous, if the camera is moved too quickly, the frame shifts.
The camera shooting rate was so fast that the prediction could not catch up and the gap became bigger than last time.
If you want to show it beautifully rather than speed supremacy, the balance of the previous survey may be good.
Posting to the official forum which reported achievement of 25FPS 【Intel Movidius Neural Network Community】
RealSense D435 + Neural Compute Stick + MobileNet-SSD + RaspberryPi3
【Youtube video raw playback speed】　 https://youtu.be/tAf1u9DKkh4
※The frame rate displayed in the upper right is displayed taking an average of 15 frames.
【USB camera mode 640x480 MultiStick x4 (In Japan, call this as the "4-bai-kai-o-ken", somehow mixed with dog judgment)】
【Youtube video raw playback speed】　 https://youtu.be/GedDpAc0JyQ
【2018/08/03 Add mode for transparently transmitting multiple objects at the same time (passing the background of multiple objects detected by MobileNetSSD at the expense of speed at once, the distance of the object to be detected is good, the accuracy of SSD is Because it is low, it shifts pretty much, considering what it is processing with laspai is good】
RealSense required
【Youtube video raw playback speed】　 https://youtu.be/ApyX-mN_dYA
Here is the program source released to Github
PINTO0309/MobileNet-SSD-RealSense

◆ Environment

RaspberryPi 3 + Raspbian Stretch (USB2.0 Port)

Intel RealSense D435 (640x480) or USB camera

Intel Movidius Neural Compute Stick x1

OpenCV 3.4.2

VFPV 3

Numpy

Python 3.5 + MultiProcessing

NCSDK v2.05.00.02

HDMI display

◆ Prerequisites before starting work

Based on the following article, NCSDK v2.xx, RealSense SDK, OpenCV3.4, various others have been installed.
(1) With depth camera RealSense D435 cut away "purple squid" or "orange colored onion" and measure "distance" by following "blonde person" (2) with RaspberryPi 3 (Raspbian Stretch)
(2) Installation of RaspberryPi3 (Raspbian Stretch) + Intel Movidius Neural Compute Stick NCSDK v2.05

◆ Recipes

1.Git Clone.
Clone_of_a_set_of_resources

$ cd ~
$ git clone https://github.com/PINTO0309/MobileNet-SSD-RealSense.git

2.Stick one Neural Compute Stick and RealSense into the USB port.
3.Execute.
Execution_of_prediction

$ sudo raspi-config
"7.Advanced Options" - "A7 GL Driver" - "G3 Legacy"

$ cd ~/MobileNet-SSD-RealSense
$ python3 MultiStickSSDwithRealSense.py

◆ Next article

[Detection rate approx. 30FPS] RaspberryPi3 Model B(plus none) is slightly later than TX2 acquires object detection rate of MobilenetSSD and corresponds to MultiModel (VOC+WIDER FACE)