딥 러닝 API를 사용해 봅시다.

(주로) 딥 러닝의 성과를 이용한 API 집 (자신용) - Qiita
이 기사가 매우 재미있게 뭔가 움직이려고 생각했습니다. API를 사용하면 디자이너 자신도 딥 러닝으로 부담없이 놀 수 있습니다.

DeepGram

DeeoGram이라는 "음성의 키워드를 발견하고 정확한 위치를 반환"하는 API를 시도하기로 결정했습니다.

게임 실제 비디오에서 발화 단어를 검색하는 데모를 볼 수 있습니다
DeepGram

DeepGram 이용 등록

양식을 입력하고 등록합니다. 사용 목적은 적당히 써 둡시다.
htps //w w. 비록 pg et al. 코 m/시그누 p

잡스의 연설 동영상을 Youtube에서 검색

인식하려는 동영상을 youtube에서 찾습니다. 이번에는 잡스의 연설을하기로 결정했습니다.
스티브 잡스 스탠포드 대, 졸업식 연설, 2005 Steve Jobs Stanford 공식 사전 - YouTube

콘솔 화면의 왼쪽 메뉴에서 'my files'를 선택

upload some files 양식에 Youtube URL을 입력하고 submit

몇 초 후 동영상의 콘텐츠 ID가 표시되는지 확인

curl하여 API 요청

콘솔 화면의 왼쪽 메뉴에서 "dashboard"를 선택

페이지 하단에 "your dev key"가 표시되는지 확인

페이지에 표시된 curl 명령을 확인하십시오

터미널에서 명령을 두드린다

stay hungry, stay foolish 찾기

API 요청

curl -H "Content-Type: application/json" -X POST -d '{ "action": "object_search", "userID": "your-dev-key", "contentID": "your-content-id", "query": "stay hungy, stay foolish", "snippet": true, "filter": {"Nmax": 10, "Pmin": 0.55 }, "sort": "time" }' api.deepgram.com

'search through a file'명령을 복사하고 'your-content-id'를 my files 메뉴에 표시된 content id로 수정

Nmax : 모르는

Pmin: 인식률의 최저값 여기서 55%

돌아온 JSON

{"snippet": ["were the words stay hungry stay foolish it was their", "they signed off stay hungry stay foolish and i have", "that for you stay hungry stay foolish thank you all"], "P": [1.0, 1.0, 1.0], "endTime": [853.26, 859.5200000000001, 871.17], "startTime": [850.7900000000001, 857.01, 868.91], "N": [0, 2, 1]}%

snippet : 검색 쿼리 전후의 발화 내용

정밀도는 그다지 높지 않습니다

P: 인식률 1일 때는 100%?

startTime : 발화 시간 (초)

결과:[850.7900000000001, 857.01, 868.91]

"stay hungry, stay foolish"를 3회 발화하고 있다

실제로 확인!

Youtube에서 868초시의 동영상을 재생해 본다. 제대로 「stay hungry stay foolish」의 발화 위치가 되어 있었다.
htps //w w. 요츠베. 이 m/와 tch? v = VyzqHFdzBKg & 훗 아츠레 = 같다. 베&t=868s

고찰

연설과 같은 발화 이외의 잡음이 적다고 인식하기 쉽다.

음악의 PV도 해봤지만 정밀도가 나쁘다

동영상 내용을 검색하는 데 사용할 수 있습니다

Podcast의 내용을 검색 할 수도 있습니다

일본어도 인식해 줄까

영어만 검증