개시하다

Amazon Rekognition Video는 AWS가 제공하는 머신러닝을 활용한 동영상 분석 서비스다.
Rekognition Video를 사용하면 애니메이션에서 수천 개의 객체, 얼굴, 내용을 정확하게 감지, 추적, 식별, 추출하고 분도를 측정할 수 있습니다.
※ 본문에서 시위 행진의 사용 절차를 확인하세요.
https://qiita.com/JJ33/items/848aaac7bc68a15c56af

3가지 주요 기능

파티: 애니메이션에 등장하는 인물 식별, 추적
유명인:등장인물의 유명여부 판단
개체 및 활동: 애니메이션의 사람, 사물, 장면 분석

감지할 수 있는 메타 정보

물체(차량 또는 애완동물 등)

장면(도시, 해변, 결혼식 등)

이벤트

명인(명인의 이름과 유일한 ID)

텍스트(영어만 해당)

동작(촛불 불기, 소화 등)

부적절한 내용(누드, 폭력, 무기 등)

모든 검색결과와 검측에 시간 스탬프가 첨부되어 있으며 상세한 동영상 검색 인덱스를 즉시 제작할 수 있을 뿐만 아니라 진일보한 분석에 관심이 있는 곳으로 빠르게 이동할 수 있다.
또한 경계 상자의 좌표로 대상이 프레임 안의 어느 위치에서 검출되었는지 알려줄 수 있다.

시위 실험의 결과

https://www.youtube.com/watch?v=L91yri_Vmbs
이쪽 동영상을 빌려 시위를 사용해 봤어요.
일부 결과를 게재하다.
(이번에는 Celerlebrites와 Moderation Labels가 검출되지 않아 Labels와 Persons만 있음)

박스 1 제트기 앞에서 사진 찍는 장면.

■ Labels(Confidence 80 이상만 표시)

청바지랑 헬리콥터도 인식!
■Persons

네 명을 검사하고 있습니다.

박스 2 소녀가 도넛을 들고 있는 장면입니다.

■Labels
이 장면에서 핫도그가 검출되었다.
정확히 말하면 도넛인데 음식 종류까지 식별할 수 있다니 대단하군!
■Persons
아까랑 똑같은 여자인 거 알 것 같아!

박스 3 소파에서 사진 찍는 장면.

■Labels
나는 실내에 설불로 등 가구가 있다는 것을 안다.
■Persons
장면 1과 같은 두 인물이 있다는 것을 알고 있는 것 같다.

상자 4곳에서 짐을 나르는 장면

■Labels
택배 장면도 인식!이거 대박이다!

뭘 활용할 수 있을지 고민을 해봤어요.

부적합한 장면의 잘라내기 또는 경고 표시

검색 기능 충실

얼굴 인증 수락(시설물 혼잡 방지 및 소매치기 관련)

인물 추적을 통해 범인, 실종자 찾기

애니메이션을 업로드하기 전에 분도를 측정하여 부적절한 장면의 공개를 방지한다

감지된 메타데이터를 자동으로 조합하여 하이라이트 비디오 만들기

촬영된 영상을 분류와 인물별로 폴더로 마음대로 나누는 프로그램

SNS 등에 동영상 미디어를 게시할 때 얼굴 검색을 통해 친구를 자동으로 표시

소매업의 분석(고객의 행위, 평균 연령층, 성별 분포, 사람들이 나타내는 감정 분석)

콘텐츠 유동형 광고(본 내용과 일치하는 광고를 선택하고 좋은 시기에 끼우는 등)

최후

시위 행진을 실험한 결과 충분한 정밀도로 다양한 메타데이터를 얻었다.(다른 영상에서도 셀카를 찍는 장면과 라면을 만드는 장면을 인식했다!)
아이디어에 따라 얼굴 인증 접수와 하이라이트 애니메이션 제작 등 다양한 용도에서 활약할 수 있을 것 같다.앞으로의 발전을 기대하다.

참조 링크

사용된 비디오 링크