인체 골격 관건 점 검 측

인체 골격 관건 점 검 측 은 복잡 한 생활 장면 에서 의 인체 검 측 에 도전 하고 여러 가지 복잡 한 동작 에서 의 인체 골격 관건 적 인 위 치 를 예측 합 니 다.
https://challenger.ai/competition/keypoint/subject
간단 한 소개
인체 골격의 관건 은 인체 의 자 세 를 묘사 하고 인체 의 행 위 를 예측 하 는 데 매우 중요 하 다.따라서 인체 골격 의 관건 적 인 검 측 은 많은 컴퓨터 시각 임무 의 기초 이다. 예 를 들 어 동작 분류, 이상 행위 검 측, 그리고 자동 운전 등 이다.이번 경 기 는 참가 자 들 을 초청 하여 알고리즘 과 모델 을 디자인 하고 자연 이미지 에서 볼 수 있 는 인체 골격 관건 점 을 검 측 한다.조직 위 는 참가 자가 제출 한 검사 결과 와 실제 레이 블 간 유사 성 을 계산 해 참가 자의 알고리즘 모델 을 평가 할 예정 이다.
데이터 설명
데이터 세트 는 훈련 (70%), 검증 (10%), 테스트 A (10%), 테스트 B (10%) 네 부분 으로 나 뉜 다.데이터 세트 사진 중의 모든 중요 한 인물 (이미지 면적 이 비교적 큰 뚜렷 한 인물 을 차지 함) 에 대해 우 리 는 모두 이 를 인체 골격 의 관건 점 으로 표시 했다.그 중에서 모든 인물 의 인체 골격 관건 은 모두 14 개 이 고 번호 순 서 는 표 와 같이 다음 과 같다.
표 1: 인체 골격 관건 점 번호 순서
1 / 오른쪽 어깨
2 / 오른쪽 팔꿈치
3 / 우 완
4 / 왼쪽 어깨
5 / 왼쪽 팔꿈치
6 / 좌 완
7 / 오른쪽 고관절
8 / 오른쪽 무릎
9 / 오른쪽 복사뼈
10 / 왼쪽 고관절
11 / 왼쪽 무릎
12 / 왼쪽 복사뼈
13 / 정수리
14 / 목
모든 인체 골격의 관건 은 세 가지 상태 가 있 는데 그것 이 바로 보 이 는 것, 보이 지 않 는 것, 그리고 그림 안에 있 지 않 거나 추측 할 수 없 는 것 이다.
표 시 된 시각 화 된 예 는 다음 그림 과 같다.그 중에서 빨간색 은 가시 점 이 고 회색 은 보이 지 않 는 점 이 며 관건 점 옆 에 있 는 숫자 는 관건 적 인 대응 번호 이다.
그림 1: 인체 골격 관건 점 표시 예시
인체 골격의 관건 점 에 표 시 된 정 보 는 JSON 형식 으로 저장 된다.각 JSON 파일 은 각각 하나의 분할 데이터 세트 에 대응 하고 하나의 JSON 파일 에 있 는 모든 item 은 이 데 이 터 를 한 장의 그림 을 집중 시 키 는 인체 상자 위치 와 인체 골격 관건 적 인 위치 에 저장 합 니 다.그 중에서 JSON 파일 형식 은 다음 과 같다.

    
[
    {
        "image_id": "a0f6bdc065a602b7b84a67fb8d14ce403d902e0d",
        "human_annotations":
        {
            "human1": [178,250,290,522],
            "human2": [293,274,352,473],
            "human3": [315,236,389,495],
        ...},
        "keypoint_annotations":
        {
        "human1": [261, 294, 1, 281, 328, 1, 259, 314, 2,
                    213, 295, 1, 208, 346, 1, 192, 335, 1,
                    245, 375, 1, 255, 432, 1, 244, 494, 1,
                    221, 379, 1, 219, 442, 1, 226, 491, 1,
                    226, 256, 1, 231, 284, 1],
        "human2": [313, 301, 1, 305, 337, 1, 321, 345, 1,
                    331, 316, 2, 331, 335, 2, 344, 343, 2,
                    313, 359, 1, 320, 409, 1, 311, 454, 1,
                    327, 356, 2, 330, 409, 1, 324, 446, 1,
                    337, 284, 1, 327, 302, 1],
        "human3": [373, 304, 1, 346, 286, 1, 332, 263, 1,
                    363, 308, 2, 342, 327, 2, 345, 313, 1,
                    370, 385, 2, 368, 423, 2, 370, 466, 2,
                    363, 386, 1, 361, 424, 1, 361, 475, 1,
                    365, 273, 1, 369, 297, 1],
        ...}
    },
    ...
]
    

그 중에서 각 필드 에 저 장 된 정 보 는 다음 과 같다.
"image id": 문자열, 그림 을 저장 하 는 파일 이름 입 니 다.
"human annotations": 길이 가 4 인 정수 형 수열 로 인체 상자 의 위 치 를 저장 합 니 다.그 중에서 앞의 두 매개 변 수 는 인체 상자 왼쪽 상단 점 의 좌표 값 이 고 뒤의 두 매개 변 수 는 인체 상자 오른쪽 하단 점 의 좌표 값 이다.
"keypoint annotations": 몇 가지 길이 가 42 인 정수 형 수열 로 인체 골격 관절 점 위 치 를 저장 합 니 다.수열 형식 은 [x1, y1, y1, v1, x22, y2, v2, v2, 8901, 8901, x14, y14, y14, v14] [x1, y1, y1, v1, v2, y2, v2, 8901, 8901, 8901, x14, y14, y14, v14] [x1, y1, y1, v14, v14] 이 고 그 중에서 (xi, yi) (xi, yi) 는 번호 ii 의 인체 골격 관절 점 의 좌표 위치 이 고 vivi 는 그 상태 (vi = 1vi = 1 을 볼 수 있 고 vi = 2vi = 2 를 볼 수 없 으 며 vi = 3vi = 3vi = 3 vi = 3 = 3 보이 지 않 는 3 vi = 3 = 3 이 보이 지 않 는 것 이다. 그림 속 에 있 거나 추측 할 수 없다.인체 골격 관건 점 의 번호 순 서 는 표 에서 보 듯 이 1 / 오른쪽 어깨, 2 / 오른쪽 팔꿈치, 3 / 오른쪽 손목, 4 / 왼쪽 어깨, 5 / 왼쪽 팔꿈치, 6 / 왼쪽 손목, 7 / 오른쪽 고관절, 8 / 오른쪽 무릎, 9 / 오른쪽 복사뼈, 10 / 왼쪽 고관절, 11 / 왼쪽 무릎, 12 / 왼쪽 복사뼈, 13 / 정수리, 14 / 목 이다.
결과 제출 설명
선수 가 돌아 온 결 과 는 JSON 파일 로 저장 해 야 합 니 다. 형식 은 다음 과 같 습 니 다.

    
[
    {
        "image_id": "a0f6bdc065a602b7b84a67fb8d14ce403d902e0d",
        "keypoint_annotations": {
        "human1": [261, 294, 1, 281, 328, 1, 0, 0, 0, 213, 295, 1, 208, 346, 1, 192, 335, 1, 245, 375, 1, 255, 432, 1, 244, 494, 1, 221, 379, 1, 219, 442, 1, 226, 491, 1, 226, 256, 1, 231, 284, 1],
        "human2": [313, 301, 1, 305, 337, 1, 321, 345, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 313, 359, 1, 320, 409, 1, 311, 454, 1, 0, 0, 0, 330, 409, 1, 324, 446, 1, 337, 284, 1, 327, 302, 1],
        "human3": [373, 304, 1, 346, 286, 1, 332, 263, 1, 0, 0, 0, 0, 0, 0, 345, 313, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 363, 386, 1, 361, 424, 1, 361, 475, 1, 365, 273, 1, 369, 297, 1],
        ...
        }
    }
    ...
]
    

그 중에서 'keypoint annotations' 필드 는 몇 가지 길이 가 42 인 정수 형 수열 로 인체 뼈 관건 점 의 번호 순 서 는 1 / 오른쪽 어깨, 2 / 오른쪽 팔꿈치, 3 / 오른쪽 손목, 4 / 왼쪽 어깨, 5 / 왼쪽 팔꿈치, 6 / 왼쪽 손목, 7 / 오른쪽 고관절, 8 / 오른쪽 무릎, 9 / 오른쪽 복사뼈, 10 / 왼쪽 고관절, 11 / 왼쪽 무릎, 12 / 왼쪽 복사뼈, 13 / 머리, 14 / 목 이다.이번 경 기 는 검사 결 과 를 볼 수 있 는 (v * 8196 ° = 8196 ° 1) 인체 골격 관건 점 으로 되 돌려 달라 고 요구 할 뿐 검출 되 지 않 은 인체 골격 관건 점 은 (0, 0, 0) 으로 대체 할 수 있다.
평가 기준
인체 골격 포인트 경기 의 평가 지 표 는 통용 되 는 물체 검출 평가 방식 과 유사 해 최종 mAP (mean Average Precision) 값 을 출전 선수 순위 의 근거 로 삼 았 다.물체 검출 임무 에 서 는 예측 과 실제 레이 블 간 차 이 를 평가 하기 위해 IoU (Intersection over Union) 를 사용 하고, 인체 골격 포인트 검출 임무 에 서 는 IoU 대신 OKS (Object Keypoint Similarity) 를 사용 해 선수 가 예측 한 인체 골격 포인트 위치 와 실제 레이 블 간 유사 성 을 채점 한다.[1]
최종 지표 mAP 의 계산 방식 은 다음 과 같다.
mAP=mean{AP@(0.50:0.05:0.95)}mAP=mean{AP@(0.50:0.05:0.95)}
그 중에서 s 는 OKS 한도 값 이 고 최종 평가 지표 인 mAP 는 서로 다른 한도 값 에서 얻 은 평균 정확도 (AP) 의 평균 값 이다.
평균 정확도 (AP) 는 일반 물체 에서 동일 하 게 검출 하 는 방식 으로 얻어 지지 만, 도량 성 지 표 는 아이 오 유 에서 OKS 로 변경 됐다.OKS 한도 값 s 를 정 하고 선수 가 예측 한 결과 전체 테스트 집합 에서 의 평균 정확도 (AP@s) 테스트 에서 모든 그림 을 모 은 OKS 지표 로 계산 할 수 있 습 니 다.
AP@s=∑pδ(OKSp>s)∑p1AP@s=∑pδ(OKSp>s)∑p1
OKS 점 수 는 일반 물체 가 측정 한 아이 오 U 값 과 유사 해 선수 가 예측 한 인체 골격 포인트 위치 와 실제 레이 블 간 유사 성에 점 수 를 매 긴 다.OKS 의 주체 사상 은 관건 적 인 위치 에 있 는 가중 오 씨 거리 로 인물 p, OKS 점수 에 대해 다음 과 같이 정의 한다.
OKSp=∑iexp{−d2pi/2s2pσ2i}δ(vpi=1)∑iδ(vpi=1)OKSp=∑iexp{−dpi2/2sp2σi2}δ(vpi=1)∑iδ(vpi=1)
그 중에서 pp 는 인체 번호 입 니 다.ii 인체 골격 관건 점 번호;dpidpi 는 선수 에 게 관건 적 인 위치 와 위 치 를 표시 하 는 유럽식 거 리 를 예측 합 니 다.spsp 는 인체 p 의 척도 인자 로 인체 틀 면적 의 제곱 근 으로 정의 한다.σiσi 는 인체 골격의 관건 점 귀 일화 인자 로 인공 적 으로 위치 편 이의 표준 차 로 계산 할 수 있다.vpivpi 는 p 번 째 사람의 i 번 째 관건 적 인 상태 입 니 다.δ(⋅)δ(⋅) 는 크 로 네 크 함수, 즉 보 이 는 인체 골격의 관건 점 (v = 1v = 1) 만 평가 지표 에 계산한다.
우 리 는 선수 들 이 오프라인 에서 모델 효 과 를 테스트 할 수 있 도록 검증 스 크 립 트 를 제공 할 것 이다.테스트 스 크 립 트 와 상세 한 사용 방법 은 검증 데이터 세트 와 함께 발 표 됩 니 다.
[1] Lin, Tsung-Yi and Maire, Michael and Belongie, Serge and Hays, James and Perona, Pietro and Ramanan, Deva and Dollar, Piotr and Zitnick, C Lawrence, "Microsoft coco: Common objects in context", European conference on computer vision, pp.740--755, Springer, 2015.↩