배경.

나는 게이머이기 때문에 매일 게임을 만드는 AI를 고민한다.
이번에 나는 스투통 선수를 대상으로 한 동영상 분석 AI를 만들었다.
이 보도에서
대략적인 내용
• 이미지별 결과
• 관련 동영상
... 까지
다음 글에서
· 애니메이션 분류 모델 결과 게재 예상

하고 싶은 일

작업에서 동작 분할은 비교적 가깝다.
동작 분할이란 애니메이션에 대한 분류 모델로 각 프레임이 행동 유형에 속하는 것을 예측한다.
골프 스윙
1F~30F "뒤로 스윙"
31F-45F "하향 스윙"
46F~65F "추적 통과"
라는 느낌을 받았다.
게임 데이터로 이거 해.
요컨대, 이 왼쪽 아래에 있는 라벨을 출력해라
머신러닝은 스톡홀름의 행동 식별(왼쪽 하단 출력 라벨)의 샘플을 만들어 보았다pic.twitter.com/eNTT5PHNoT-itdk (@itdk1996) December 26, 2020

분류 범주

특별편

태그	행동
페인트	주위에 발랐습니다.견제도 여기에 포함
공격(atack)	마주 보세요.상대방을 공격하고 있습니다.페인트를 칠한 후의 행동은 같다
이동(moving)	오징어 또는 사람의 상태로 이동합니다.바르는 이동 포함
잠복(hidden)	소적 및 회복을 포함합니다.이동과 같은 상태
맵	살아있는 상태에서 맵을 여는 상태
특수 사용
슈퍼 점프	슈퍼 점프
개체(object)	규칙 개입.지역, 담배, 조개, 두더지 관련 경기.중복되기 쉬우나 대전에 중요한 요소
달리기(respawn)	사망 중 유일한td>
편두곡	헤드
엔딩곡	엔딩곡

.

이게 뭐가 어려우면 입력에 중복된 반이 있어요.br/>
아래의 그림과 같이'잉크젯'의 행위는'공격','칠','대상과 관련된'어떤 목적을 가지고 있다.저기, "목적을 맞히기"가 바로 동작 구역입니다.br/>
중복이 있기 때문에 반의 우선순위를 미리 정했습니다

왼쪽 우선.예를 들어 대상이 관련되면 지도를 보면서 이동할 수 있고 대상이 관련되면 대상 라벨을 우선적으로 추가할 수 있다p>
또한 이러한 성질 때문에 이미지만으로 분류하는 데는 일정한 제한이 있다.이미지가 마이그레이션되고 있으므로 [이동 중]이 되지만 상태는 [숨김]과 같습니다.

적들이 있어서'공격'이 됐지만'칠해'랑 비슷해요br/>

따라서 이미지를 바탕으로 하는 기법은 한계가 있다.

따라서 우리는 일을 시작하는 동시에 동작을 사용하여 임무 중의 모형을 구분하는 것을 고려한다p>

이걸 할 수 있어서 기쁘긴.

이 자체는 의미가 없지만 애니메이션 전체로 보면 다음과 같은 표를 만들 수 있습니다.

1개 애니메이션-> 동작의 분포

가능하면

/잘하는 사람과 못하는 사람 비교
・동일인의 규칙에 대한 액션 비교

• 같은 사람의 상태의 좋고 나쁨 비교

등 다양한 일을 할 수 있어요.br/>
재생 내용의 애니메이션에서 수치의 정보를 추출하여 다양한 분석에 사용할 수 있습니다

데이터 세트

1.스냅보드 구매
2. 스프라투(26경기)3. EDAN 동작 분할 도구를 사용한 가상화

하나에 최대 6분 정도, 다시 봐야 해서 시간이 많이 걸렸네요...

사전 토론 결과에 따라 어느 정도 환경을 축소해 보기로 결정

・규칙(융통성, 융통성 등)은 적당히 분산시켜야 한다.
• 무대가 잘 어울려요.그때 만난 놈이편파적이다

• 무기는 영웅 휠, 영웅 휠
• 오징어 통조림을 끼고

• 자신의 소문은 모두 X
• 학습 21건, 테스트 5건(구역, 호코, 조개, ヤヤ
・애니메이션의 평균 4분 정도

의 느낌이에요.br/>
무기를 흩어 놓으려고 했는데 톱니바퀴도 바뀌고 스피드맨의 충전 시간은 어느 반 같은지 복잡해져서 일단 들고 다니는 무기로 가기로 했어요p>

그리고 게임이기 때문에 용서받을 수 있지만 최초 버전(r1mp4)과 마지막 버전(r20.mp4)의 모방 품질과 기준에 미묘한 변화가 있습니다

예:

· 상대를 발견

・이동

・공격

숨김→이동→공격
공격을 위해 움직이는 거니까.
숨어있다→공격하고 있다
의 경우br/>
(또한, 나는 단지 특별한 착지인 줄 알았기 때문에 기본적으로 처음 사용한다)

데이터 세트 링크

공개 여부는 아직 토론 중

이미지 기반 방법

먼저, 이동 학습 또는 fine tuning의 선택br/>
고려할 만한 일로 삼다
스튜어트 지역은 너무 날카로워요.이동 학습을 해도 분산표가 좋아지지 않을까요?

· 동영상 수량이 많지 않아서fine tuning 하면 오버핏 느낌이 들 수 있습니다
그래서 이 두 개 중 어느 것이 더 좋은지 확인하겠습니다

네트워크 구조가 이런 느낌

평가가 까다롭기 때문에 Acuracy를 사용합니다.동작 분할에는 각양각색의 평가 방법이 있는데, 이 방면은 이후에 다시 고려하자p>
해보니 이런 느낌

모델	모드	정밀도
VGG	이동 학습	64.7
mibileNet	이동 학습	61.6
VGG	fine tuning	62.7
mobileNet	fine tuning	59.7

그나저나 fine tuning은 시간이 좀 걸립니다.

VGG의 이동 학습이 최고입니다.약간 의외

그리고fine tuning이 더 좋을 줄 알았는데 그게 아니었어요

클래스	정밀도
total_accuracy	0.64768
opening	0.97024
moving	0.57446
hidden	0.12668
painting	0.53247
battle	0.68719
respawn	0.93855
superjump	0.45745
object	0.22072
special	0.76923
map	0.38922
ending	0.98046

어느 정도 구상된 반은 분류하기 어려울 것 같다.

감상

데이터 집합부터 기계 학습을 시작해서 다양한 일을 하면서 즐거워하고 있어요

비디오 모형을 지금부터 시작합니다

다만, 현재로서는 본 무대(테스트 데이터 중 아로아나 몰)가 정성적으로 상당히 적절했다br/>
따라서 모든 무대에서 학습 데이터를 먼저 만들 수 있습니다

비디오 검색

youtube의 재생 목록

https://www.youtube.com/playlist?list=PL0Al7LkpEHRJPkI6HZfrUP9HKv1TI_tHn

테스트 영상은 5편입니다.나바리, 구역, 호코, 야쿠라, 조개 각각

또 무대에서 훈련 데이터를 받지 못한 경우도 있다br/>
이 방면이 고찰의 재료가 될 것 같아서, 보지 못한 무대에서 잘 진행될 수 있을지 확인하기 위해br/>
학습 데이터에서 애니메이션의 개요 표시줄에 있는지 여부입니다.

GitHub

https://github.com/daikiclimate/action_segmentation

무게와 데모용 코드가 있기 때문에 애니메이션과 환경이 있으면 실행할 수 있습니다br/>
검증되지 않음