자세 추정 논문은 단순 회귀로 진행된 것에서 HeapMap으로 진행된 것으로 진화*1
상술한 제목의 논문은 HeapMap*2를 사용했다
자세 추정에 사용되는 데이터 집합은 주로 다음과 같은 3개 기구에서 분배되고 자주 사용된다
・FLIC
・MPII
・Human3.6
제목의 논문은 다음 두 개를 사용했다.그러나 열도에 대한 정보는 포함되지 않아 스스로 열도 정보를 만들어야 할 것 같다.

HeatMap

HeatMap 기반 방법은 2014년 Tompson이 설계한 *3
http://www.cims.nyu.edu/~tompson/others/joint-training-convolutional.pdf
만약 나의 이해가 정확하다면, 간단하게 말하자면, 이 방법은 일반적인 필터로 임의의 체위와 같은 곳을 추정한 후, 그 연결된 체위와 함께 NN으로 뛰어들어 위치를 정확하게 추정한다.
처음에는 이런 방법으로 HeatMap에 대한 데이터 집합을 직접 만드는 줄 알았어요.
그런데 얼마 전 논문이...
Towards 3D Human Pose Estimation in the Wild: a Weakly-supervised Approach*5
github 저장소
https://github.com/xingyizhou/pose-hg-3d
에서 기술한 장면은 다음과 같은 절차를 이용하여 명세표를 작성하여 개념 디자인에서 체량의 부피를 분석하도록 한다.
아마도 제목의 논문도 이 방법으로 일반적인 열도를 만드는 Ground Truth일 것이다.어떤 방법이든지 이것은 스스로 마음대로 하면 된다.

Location Map

이것은 이해하는 데 오랜 시간이 걸렸다.
우선, 본문의 관건은
·2D 데이터 세트 3D 데이터 세트를 잘 조합하여 3D 추정 정밀도 향상
실시간 실행
두 개.복잡한 NN을 통해 HeatMap과 XYZ의 LocationMap의 4개 채널을 출력하는 방법은 상기 두 가지를 실현하기 위한 것이다.
가장 시간을 들여 이해하는 것은 Location Map의 Ground Truth 제작 방법이다.

그림 1Fig3 참조 캡처
XYZ가 왜 이렇게 출력이 되는지 이해하지 못했습니다. 그림1과 같은 ①구역이 있습니다.그러나 두 가지 관건과 본론(1)의 Loss 함수를 이해하면 간단하다.
이해하기 위해서 나는 다음 두 가지를 기억하고 싶다
・ HeatMap은 2D 데이터 세트로 제작되었습니다.
· LocationMap은 HeatMap의 정점 좌표 부분이 3D 데이터 세트와 일치하는지 확인합니다.
처음에 나는 Ground Truth와 CNN의 출력이 거의 같다고 생각했지만 ①과 같은 지역의 Ground Truth가 어떻게 생성되는지 잘 모르겠다.
하지만 Loss 함수

Loss(x_j) =||H^{GT}_j ⊙ (X_j − X^{GT}_j
)∥ \hspace{15pt}  (1)

HeatMap의 HadamardProduct(1) 덕분에 ①과 같은 영역을 0으로 설정합니다.따라서 ① 이외의 분야는 어떤 분야가 되더라도 최적화에 자주 참여하지 않는다는 것을 알 수 있다.① 이외의 영역은 draw Gaussian처럼 적당히 할 수 있다.또한 LocationMap은 고스일 필요가 없습니다.
나는 대략 각종 위치에 있는 데이터 집합으로 진행하는 과정에서 그림1과 같은 출력이 될 것이라고 생각한다.

앞으로

pytorch로 완전한 설치를 하고 다음 OSS로 아이패드 응용 프로그램을 만듭니다https://blog.prismalabs.ai/diy-prisma-app-with-coreml-6b4994cc99e1

참고 문헌

[1] DeepPose: Human Pose Estimation via Deep Neural Networks
https://arxiv.org/pdf/1312.4659.pdf (회귀 방법 사용)
[2] VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera(제목 논문)
http://gvv.mpi-inf.mpg.de/projects/VNect/content/VNect_SIGGRAPH2017.pdf
[3]Joint Training of a Convolutional Network and a
HeatMap 기반 원점
http://www.cims.nyu.edu/~tompson/others/joint-training-convolutional.pdf
[4]Towards 3D Human Pose Estimation in the Wild: a Weakly-supervised Approach
https://arxiv.org/abs/1704.02447