개시하다

자세 추측(골격 추측)의 대표적인 프레임인 MMPose를 사용해 보는데, 일본어 기사가 드문 것 같아 자세 추측과 골격 추측의 한쪽에 참고가 됐으면 좋겠다는 생각에 기사를 쓰고 싶었다.

자세 추정(뼈 추정)

위의 그림을 입력할 때 아래 그림과 같이 물체(이곳은 소)의 코, 눈, 발 등 관건을 각각 확정하고 적당한 부분을 선으로 연결하는 그림을 얻는 작업을 한다.

대상은 위의 그림처럼 동물도 있고 사람도 있다.사람이라면 테니스 서브 스윙을 할 때의 자세를 추측해 프로 선수와 아마추어 선수의 어디가 다른지 코치에게 활용할 수 있다.
이 자세(골격) 추정 알고리즘은 큰 차이가 있다
/톱다운 방식
/상향식
두 개 있어요.
톱다운 방식
이미지 속의 물체를 확정하고 확정된 물체를 각각 골격으로 추정하는 방식
상향식
먼저 이미지 속의 모든 물체에 대해 골격 추측을 하고 같은 물체 간에 각 관건을 연결하는 방식
정확도는 위에서 아래로 비교적 높다. 왜냐하면 하나하나의 물체에 대해 골격 추측을 하기 때문이다.
하체는 관건을 추측할 수 있지만 같은 물체를 연결하는 것을 배우는 것은 어렵다.
이번에 소개된 MMPose의 AnimalPose는 위에서 아래로의 모드입니다.
이 위에서 아래로 하는 방식의 물체 검측과 골격 추측은 모두 독립적이다.
모델의 입력과 출력 절차에 대해 다음과 같이 설명한다.
물체 검측 모형에 이미지 입력
↓
물체의 위치를 가리키는 Bbox 좌표를 얻습니다
↓
뼈 추정 모델에 이미지 및 BBox 좌표 입력
↓
각 물체의 관건 좌표를 얻다
모형은 물체 검측 모형과 골격 추측 모형 두 가지가 필요하다는 것이다.

이른바 MMPose

이것은 많은 뼈 추측 모형을 모은 일반적인 틀이다.
공식 문서도 풍부하여 다양한 모델을 사용할 수 있다.
라이선스 역시 아파치-2.0 라이선스여서 상업용으로도 사용할 수 있다.
보관소: https://github.com/open-mmlab/mmpose
공식 문서: https://mmpose.readthedocs.io/en/latest/

HRNet on AnimalPose

이번에는 Animal Pose라는 데이터 세트를 통해 학습한 HRnet이라는 모델을 소개합니다.

논문 링크: https://openaccess.thecvf.com/content_CVPR_2019/html/Sun_Deep_High-Resolution_Representation_Learning_for_Human_Pose_Estimation_CVPR_2019_paper.html
다양한 비례자에서 학습하고 고해상도 특징량과 저해상도 특징량을 공유하여 골격의 관건을 추측하는 모델이다.

도입

로컬 환경에서 MMPose를 시작하면 구축 환경이 상당히 번거롭다.
따라서 쉽게 시도하려는 사람은 Google Colab에서 공식 창고의 데모 노트북을 이동할 수 있습니다.
프레젠테이션 노트
https://colab.research.google.com/github/open-mmlab/mmpose/blob/main/demo/MMPose_Tutorial.ipynb
위에서부터 이걸 순서대로 실행하면 작동할 거야.
다만 주의사항은 자신의 경우 두 번째 칸을 여러 번 실행하지 않으면 numby의 버전이 정확하지 않다는 것이다.
AnimalPose 사용 시

pose_config = 'configs/body/2d_kpt_sview_rgb_img/topdown_heatmap/coco/hrnet_w48_coco_256x192.py'
pose_checkpoint = 'https://download.openmmlab.com/mmpose/top_down/hrnet/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth'

上記部分を

pose_config = 'configs/animal/2d_kpt_sview_rgb_img/topdown_heatmap/animalpose/hrnet_w48_animalpose_256x256.py'
pose_checkpoint = 'https://download.openmmlab.com/mmpose/animal/hrnet/hrnet_w48_animalpose_256x256-34644726_20210426.pth'

새 걸로 바꾸면 괜찮을 거야.
config와 모델 파일만 변경하면 각종 모델의 추론을 테스트할 수 있습니다.

총결산

쉽게 말해서 MMPose의 소개입니다.나는 학습이 끝난 모형을 간단하게 테스트할 수 있다는 것이 매우 좋다고 생각한다.
다음은 현지의 환경 구축 방법과 물체 검측 모델에서 YOLOv4를 사용해 동물의 뼈를 추측할 때까지 진행하는 과정을 소개한다.