오늘(일본 시간 3월 9일)Google이 Video Intelligence API를 비공개 베타로 공개했습니다.

뉴스 기사
Google, 동영상의 대상을 인식하는 머신러닝 API 공개 - Cloud Next 2017 | TechCrunch Korea
[속보] Google, 동영상에 무엇이 비치고 있는지를 자동적으로 판단하는 「Video Intelligence API」발표. Google Cloud Next'17 | Publickey

공식 Blog
Announcing Google Cloud Video Intelligence API, and more Cloud Machine Learning updates
Video Intelligence API는 비공개 베타를 사용하기 위해 신청해야 하지만 누구나 즉시 시도할 수 있는 데모가 제공됩니다.

본 기사의 내용은 데모의 해설과 사용해 본 소감입니다.

데모를 사용해보기

데모 페이지 방문

Cloud Video Intelligence 페이지로 이동합니다.
※ 스마트 폰에서도 OK입니다.

TRY THE API

화면을 아래로 가면 TRY THE API 라는 곳이 있습니다.

동영상 선택

일부 동영상은 데모용으로 제공됩니다.
좋아하는 것을 선택합시다.
예를 들어, 여기에서는 Animals를 선택합니다.

화면 구성

동영상을 선택하면 동영상 로드가 발생하는 동시에 API가 실행되고 결과를 기다립니다.
Labels, Shots, API 탭을 전환할 수 있으며 다음과 같은 정보가 표시됩니다.

Labels : 동영상 전체에서 무엇이 반영되는지

Shots : Shot이라는 단위로 동영상을 분할, Shot에 무엇이 비치고 있는지

API : API 요청 응답

조금 방치

조금 방치하면 API 실행이 끝나고 결과가 각각 표시됩니다.

Labels

Shots

API

Shots를 자세히 살펴보기

재미있는 것은 Shots입니다.Shots 탭을 보면서 동영상을 재생합니다.

오른쪽 하단의 Shot Labels가 전환되어 있음을 알 수 있습니다.
이것이 그 샷에 나오는 동영상의 내용이 됩니다.

API 실행이 빠름

동영상을 선택하면 자동으로 동영상이 재생되기 시작하지만 API 결과는 동영상의 끝을 기다리지 않고 표시됩니다.
개인적으로, 「이것은 상당히 빠르다」라고 느꼈습니다.
※동영상의 해석 결과를 캐쉬하고 있다면 더 빨리 표시될 것입니다.

Shot에 나오는 단어는 Shot의 이미지만으로 판별하고 있는 것은 아닐 것 같다

예를 들면 다음과 같은 호랑이가 나오는 장면입니다만 Animal , Tiger , Cat 등 호랑이에 관한 것이 나옵니다.



이 장면을 이미지로 잘라내 Google 이미지 분석 APIGoogle Cloud Vision API에 넣으면 이렇게 됩니다.


Nature 또는 Jungle와 같은 호랑이가 아닌 단어가 나왔습니다.

이전 동영상은 Animal에 관한 동영상이므로 Video Intelligence API 그렇다면 Nature 또는 Jungle는 동영상의 주요 콘텐츠가 아니라고 판단하여 제외하고 있지 않습니까?
그렇다면 Animal가 Video Intelligence API의 결과에 나오는 것도 수긍합니다.

움직임이 있는 것을 인식하는 것은 아직 어렵다?

선택할 수 있는 동영상의 맨 아래에 있는 Volleyball Court 무엇인가가 현저합니다.
나오는 것은 Tourism, Tree, Fence 등으로 배구는 나오지 않습니다.