동영상 대응 인체의 포즈 추론 라이브러리 VINE의 추론 환경 구축시의 메모와 벤치마크 테스트입니다

환경

파이썬 환경 miniconda
우분투 18.04
GPU GTX1080 Ti&Radeon Ⅶ
GPU 플랫폼 CUDA10.2&ROCm3.0

CUDA로 환경 구축

miniconda로 파이썬 환경을 구축했습니다.
3.7 이상에서는 python 3.7 이상을 권장했지만 3.7에서는 움직이지 않고 3.6에서 안정적으로 움직였습니다.
공식 문서에 따라 환경을 구축 할 때 오류가 발생하고 움직이지 않았기 때문에 우리 환경에서 매우 고통 받았고 colab에서 움직이기 때문에 환경 의존 가능성이 높습니다.

$ git clone https://github.com/mkocabas/VIBE.git
$ cd ./VIBE

$ conda create -n vive python=3.6 
pip install -r requirements.txt 
pip install twine
bash prepare_data.sh

install_pip.sh와 install_conda.sh가 준비되어 있지만 이번에는 블랙 박스를 피하기 위해 사용하지 않습니다.
매뉴얼과는 다르지만 안정적입니다.

실행 벤치마크

htps : // 기주 b. 코 m/m 코카바 s/ゔぃ베/bぉb/마 s r/도 c/에서도. md # 룬치메 ぺr ふぉr 만세
참고는 이상

GTX1080Ti

python demo.py --vid_file sample_video.mp4 --output_folder output/ --sideview

Tracking FPS 25.27
VIBE FPS: 32.77
Total time spent: 29.52 seconds (including model loading time).
Total FPS (including model loading time): 10.16.

ROCm(AMD Radeon7)에서의 테스트

Docker (rocm pytorch를 사용하여 테스트했습니다)
본래라면 Dockerfile이 스마트합니다만 컨테이너 내에 들어가 시행착오했을 때의 쉘을 이번은 붙입니다

도커 런

하마리 포인트가 여기에 있습니다.

 sudo   docker run --name pytroch_rocm -it  --privileged --rm --device=/dev/kfd --device=/dev/dri --group-add video  rocm/pytorch:rocm3.0_ubuntu16.04_py3.6_pytorch

자세한 내용은 참조 URL을보고 싶지만 --shm-size에서 공유 메모리 크기를 확장하지 않으면 잘 작동하지 않습니다.

그래서 올바르게는 다음 명령으로 docker run

 sudo   docker run --name pytroch_rocm -it --shm-size=16G --privileged --rm --device=/dev/kfd --device=/dev/dri --group-add video  rocm/pytorch:rocm3.0_ubuntu16.04_py3.6_pytorch

rocm3.0과의 궁합의 나쁜 것도 알려져 있으므로 ROCm2.10을 사용하는 경우

 sudo   docker run --name pytroch_rocm -it --shm-size=16G --privileged --rm --device=/dev/kfd --device=/dev/dri --group-add video  rocm/pytorch:rocm2.10_ubuntu16.04_py3.6_pytorch

컨테이너 내 환경 구축

$ git clone https://github.com/mkocabas/VIBE.git
$ cd VIBE
$ pip3 install -r ./requirements.txt
$ pip3 install  twine
$ apt install ffmpeg
$ apt-get install libglfw3-dev libgles2-mesa-dev
$ bash prepare_data.sh

실행

python3.6 demo.py --vid_file sample_video.mp4 --output_folder output/ --sideview

벤치마크 결과 및 오류

Tracking FPS 1.70

중간에 오류가 발생했습니다.

Running VIBE on each tracklet...
  0%|                                                                                                                                                                                        | 0/1 [00:00<?, ?it/s]Traceback (most recent call last):
  File "demo.py", line 383, in <module>
    main(args)
  File "demo.py", line 160, in main
    output = model(batch)[-1]
  File "/root/.local/lib/python3.6/site-packages/torch/nn/modules/module.py", line 539, in __call__
    result = self.forward(*input, **kwargs)
  File "/root/VIBE/lib/models/vibe.py", line 267, in forward
    smpl_output = self.regressor(feature, J_regressor=J_regressor)
  File "/root/.local/lib/python3.6/site-packages/torch/nn/modules/module.py", line 539, in __call__
    result = self.forward(*input, **kwargs)
  File "/root/VIBE/lib/models/spin.py", line 376, in forward
    pose2rot=False
  File "/root/.local/lib/python3.6/site-packages/torch/nn/modules/module.py", line 539, in __call__
    result = self.forward(*input, **kwargs)
  File "/root/VIBE/lib/models/spin.py", line 485, in forward
    smpl_output = super(SMPL, self).forward(*args, **kwargs)
  File "/usr/local/lib/python3.6/dist-packages/smplx/body_models.py", line 376, in forward
    self.lbs_weights, pose2rot=pose2rot, dtype=self.dtype)
  File "/usr/local/lib/python3.6/dist-packages/smplx/lbs.py", line 205, in lbs
    J_transformed, A = batch_rigid_transform(rot_mats, J, parents, dtype=dtype)
  File "/usr/local/lib/python3.6/dist-packages/smplx/lbs.py", line 347, in batch_rigid_transform
    rel_joints.view(-1, 3, 1)).view(-1, joints.shape[1], 4, 4)
RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.
  0%|     

참고

h tps : // s t c ゔ ぇ rf ぉ w. 코 m / 쿠에 s 치온 s / 56297064 / 호 w - t-x x m r r-ro r-una b ぇ-- ぉ d e gl-b et ry-22 - ぇぺぺしふぃえぇ
htps : // 코 m / 어지러움 / ms / 71 d3c076 a f145c9b44