참고자원봉사자의 실복는 CVPR 2019의 비디오 포스트 3D를 시운전했다.환경 설정이 힘들어 똑똑하지는 않지만, 일본어 통역으로 필기를 남긴다.남의 참고가 된다면
3D human pose estimation in video with temporal convolutions and semi-supervised training


논문 소개 페이지 , GitHub
원논문 코드에서는 자신이 준비한 영상을 사용한 것이 공개되지 않아 지티허브의 issue에서 토비아스코즈이쪽 코드가 발견됐다.
기본적으로 이것에 따라 잘못을 대처할 뿐이다.
전체적인 절차로서 먼저 Detectron으로 2Dpose를 추정한 다음에 데이터를 Video Pose 3D로 흐른다.
단계마다 독립적이기 때문에 이번에는 각각 환경을 준비했다.(또는 디텍트론이 준비한 환경이 후반부에 잘 돌아가지 않아 후반부에 쓸 환경도 마련했다)
컨디션
Ubuntu 18.04.2 LTS
NVIDIA Driver Version: 390.116
ffmpeg4.0
다운로드할 요약
매번 쓰여 있으니 먼저 총결산을 해 보자.
・e2e_keypoint_rcnn_R-101-FPN_s1x.yaml
・COCOkeypoints 가중치 파일
・chackpoint 파일
데이터3d_h36m.npz (후술 코드를 실행하십시오)
비디오 및 프레임 이미지 준비
좋아하는 동영상 보세요.
프레임은 ffmpeg로 준비합니다.사랑을 끊다.
참고로 ffmpeg를 설치하지 않으면 마지막 가시화는 진행할 수 없습니다.
Detectron(2Dpose 추정)
원래는 분할될 수 있지만 포스의 부분만 이용한다
Detectron용 가상 환경
공식 발표.7이 움직이는 것 같으니, 나는 그것을 따를 것이다.
Caffe2를 사용하는 관계로 인해 CUDDA8,cudnn7이 결정됩니다.

conda create -n detectron python=2.7 numpy=1.16.2 matplotlib scipy yaml pyyaml=3.12 protobuf opencv
conda activate detectron
conda install -c anaconda cudatoolkit==8
conda install -c pytorch cuda80
conda install cudnn
conda install pytorch-nightly cuda80 -c pytorch #これでcaffe2が入る

#好きなディレクトリに移り
git clone https://github.com/tobiascz/VideoPose3D.git

VideoPose3D/detectron_tools/아래에 다음 파일을 놓으십시오
• 준비된 프레임 이미지
/e2e_keypoint_rcnn_R-101-FPN_s1x.yaml Detectron의 GiitHub부터download까지)
/COCOkeypoints 가중치 파일 여기를 참조하십시오.
Detectron 실행

python infer_simple.py --cfg e2e_keypoint_rcnn_R-101-FPN_s1x.yaml --output-dir demo/output --image-ext jpg --wts model_final.pkl input_floder

input_folder(프레임 이미지 위치)의 - image-ext 확장자 이미지를 2Dpose로 추정합니다.
다른 지정은 준비된 파일입니다.
두 장의 Dpose가 그려진 그림.npz 파일을 생성해야 합니다.2Dpose 데이터입니다.

Video Pose 3D(테마)
가상 환경 구축
만약 이렇게 한다면 각양각색의 어려움을 겪게 될 것이기 때문에pythn3의 환경이 형성되었다.
python 버전 말고는 아까랑 똑같아요.numpy1.16.3이면 중간에 막히니까 주의하세요.

conda create -n videopose python=3.6 numpy=1.16.2 matplotlib scipy yaml pyyaml=3.12 protobuf opencv
conda activate videopose
conda install -c anaconda cudatoolkit==8
conda install -c pytorch cuda80
conda install cudnn
conda install pytorch-nightly cuda80 -c pytorch #これでcaffe2が入る

파일 이동
//Video Pose 3D/data/에서 방금 detectron으로 만든 데이터2d_detections.npz 설정
/비디오 Pose 3D/data/데이터3d_h36m.npz를 설정합니다.이것은 정식 절차에서 다운로드할 수 있습니다.다음으로 복사

cd data
wget https://www.dropbox.com/s/e35qv3n6zlkouki/h36m.zip
python prepare_data_h36m.py --from-archive h36m.zip
cd ..

/Video Pose 3D/checkpoint/에 배치chackpoint 파일(다운로드)
・/Video Pose 3D/에 원본 애니메이션 배치
오류를 피하기 위한 여러 가지 방법
여기까지도 방법대로 썼는데 이러면 안 되니까 다음에 할 일을 적어 놓으세요.
・runwild.66행.load에 encoding = "latin1"매개 변수 추가

# こうなる
keypoints = np.load('data/data_2d_' + args.keypoints + '.npz',encoding = 'latin1')

・common/visualization.py에서 ffmpeg를 통과하는 경로(?).
※ 자신의 ffmpeg 위치를 지정하세요

#import文などのあとで
plt.rcParams['animation.ffmpeg_path'] =  '/usr/bin/ffmpeg'

이동

python run_wild.py -k detections -arc 3,3,3,3,3 -c checkpoint --evaluate d-pt-243.bin --render --viz-subject S1 --viz-action Directions --viz-video input_video.mp4 --viz-camera 0 --viz-output output_video.mp4 --viz-size 5 --viz-downsample 1 --viz-skip 0

input_비디오 및 output-비디오 섹션
지정하십시오.다른 건 그렇고 괜찮을 거야.
공식적인 시위 행진만큼 아름답게 일치하진 않았지만, 조정하면 더 좋을 것 같다는 논의가 있었죠
프레임 오프셋 조정pic.twitter.com/0eSvSXHHkq-UAtsuhiro (@Tim23164199) May 12, 2019

어쨌든 한번 움직여봤어요

첫 기사지만 참고가 됐으면 좋겠어요