행동 식별Activity Recongnition(또는 Action Recongnition)을 간단하게 테스트할 수 있습니다!
Google의 AI 서비스는 여러 가지가 있지만 비디오를 입력하는 두 가지 서비스가 있습니다.
https://cloud.google.com/video-intelligence/?hl=JA

Video Intelligence API

AutoML Video Intelligence

위의 Video Intelligence API와 관련해서는 위 페이지에서 간단하게 프레젠테이션을 시도할 수 있어 분위기를 잡을 수 있습니다.아래 그림처럼 영상에 어떤 물체가 있는지 알려줄 수 있어요.(2019/12/29시 테스트 불가)

Video Intelligence API에서 다음과 같이 어떤 행동을 하는지 파악할 수 있습니다.

기존 데이터 세트에 없는 특수 동작을 식별하려면 다른 AutomL Video Intelligence가 유용합니다.영상에서'어느 구간'이'어떤 행동'인지는 불변하지만,'어떤 행동'인지는 지정할 수 있다.
(베타 버전이기 때문에 인터페이스가 매일 변경됩니다. 아래 설명과 다른 현황에 주의하세요.)
AutomL Video Intelligence에서는 교사 데이터로서 사용자 정의 데이터 세트(짧은 비디오 클립 및 표시된 행동 태그)를 준비합니다.그걸 배우게 되면 알 수 없는 영상이 어느 구간에서 어떤 행동을 하고 있는지 알려주지.
AutoML 정도이기 때문에 Google 선생님은 평소와 같이 자동적으로 머신러닝을 잘해야 합니다.

한 번 시험해 보았다

기본적으로 아래의 사이트를 따를 뿐이지만 시스템은 자주 업데이트되는 것 같아서 설명대로 사용할 수 없다.
https://cloud.google.com/video-intelligence/automl/docs/quickstart-console?hl=JA

데이터 세트 만들기

먼저 [Create Dataset]을 클릭하면 대화 상자가 달라집니다.이전에는 애니메이션 분류만 가능했습니다.'영상 대상 추적'도 재미있을 것 같으니 이번에는'애니메이션 분류'를 해보자.

모형 훈련

그리고 설명에는 여러 개의 라벨을 읽은 압출 장치가 있지만 프레젠테이션 원고에서 식별할 수 있는 라벨 수량은 5개였다.



모델 트레이닝 끝나고 메일 받을 거예요.

분류 비디오

Cloud Storage 통에 있는 디렉토리를 선택하여 비디오 분류의 에뮬레이션 결과를 가져옵니다.잘 쓰여있지만.
설명한 대로 Result Bucket 막대에 my-storge-bucket을 입력해도 움직이지 않습니다.
말하자면 버킷(물통)은 뭘까?하지만 스스로 Google Cloud Storage를 만들어야 합니다.
그리고 이 물통은 Result Bucket 막대 옆에 있는?표시를 클릭하면 us-central 1 구역에서 만들어야 합니다.
통 만드는 방법은 여기(us-central 1구역으로 꼭 만들어야 해요!):
https://thinkit.co.jp/story/2015/03/30/5801
이렇게 되면 식별 결과는 지정된 물통에 저장된다.

결과 표시

위 사이트의 설명에서 단일 동작을 선택한 영상 편집만 있으면 재미가 없기 때문에 학습의 연상을 이용하여 같은 영상 편집의 조합 영상을 만들어 사람들에게 알리도록 했다.(학습에 활용된 데이터를 테스트에 사용하는 것은 사도이지만 적당한 영상을 제때에 얻지 못했다.)
0-3초: 현수(pulup)
3-5초: 골프(golf)
5-6초: 회전(cartwheel)
7-8초: 말 탑승
9-11초: 볼킥
먼저
concat.csv

gs://[central1で作成したバケット名]/test-data/concat.mp4,0,12

를 참고하십시오.
ss:/test-data/concentral 1로 만든 물통 이름.csv
두 번째 열의 0과 세 번째 열의 12는 첫 번째 열이 지정한 애니메이션의 0초에서 12초 식별을 나타낸다.
[CSV 입력]에 위의 문자열을 입력합니다.
[결과통] [central 1로 만든 통 이름]을 입력합니다.

결과를 식별하다

인식의 단위가 1초마다 거칠기 때문에 1초가 지나면 그 동작 유형이 식별된다.
8월 시도 결과:





위 화면에서 신뢰성을 0.3으로 설정하여 표시합니다.초기 식별 화면에서 신뢰도는 0.5였지만 마지막 이미지를 보기 위해서도 알 수 있다.비록 볼의 장면이지만ridehorse 신뢰도 0.684 이상 킥공이 0.311로 낮아져 샷을 표시할 수 없기 때문이다.
12월 시도 결과:






나는 이 디스플레이 방법이 복수의 신뢰도 곡선으로 표시하면 쉽게 알 수 있다고 생각한다.(능선은 인식 결과죠)

비용

상당히, 계산력을 사용한 처리여서 가격에 신경을 많이 쓴다.
지난 8월에 사용했을 때 가격은 이랬는데 써본 신용카드는 무료였어요.
컨텐트
타임
금액
Cloud AutoML AutoML Video Classification Model Training:
42.109시간
엔화 13450 [화폐로 환산: USD에서 JPY(108.64 환율 사용)]
이번에 2시간 정도 공부했는데 640엔 정도 들었을 거예요.하루도 거치지 않고 비용을 모르고 알면 보고한다.
그나저나 매달 청구서에는 AutomL Video Classification Model Training이 10.527시간 걸렸는데 382엔의 청구였지만 무료였다.
얼마를 써야 할지 몰라서 좀 무서워요.어디다 썼겠지.
https://cloud.google.com/free/docs/gcp-free-tier

끝말

이번에는 학습 데이터를 테스트 데이터에 활용하는 묘수를 사용했다. 실제 응용이 가능할지 모르겠지만 스포츠 영상을 분석한 토대에서 녹화에서 어떤 행동을 취했는지 알면 번거로움을 줄일 수 있다.축구라면 골문 장면을 대충 볼 수 있다.
행동 인식에 대한 정보는 Qita에서 다음과 같습니다.
https://qiita.com/tags/%E8%A1%8C%E5%8B%95%E8%AA%8D%E8%AD%98
해외 비자가 가능할지 모르겠지만 어쨌든 여기서:
http://blog.qure.ai/notes/deep-learning-for-videos-action-recognition-review
Activity Net 경연대회:
http://activity-net.org/challenges/2019/challenge.html