tfjs로 시부노 히나코 프로와 공을 쫓는

Python이 다카모리의 AI 프로그래밍입니다만, 나는 WEB가게이므로 어디까지나 Javascript를 고집하고 싶다고 생각해, 오브젝트 검출·CoCo-SSD의 전이 학습에 도전해 보았습니다. 골퍼가 울고 기뻐하는, 장대한 야망을 주목하면서, 날마다 공부중입니다.

tfjs의 Mobilenet (이미지 분류)에서는 여기에 자습서가 있으며 비교적 쉽게 전이 학습이 가능합니다. 마지막 '시부노 히나코 프로의 스윙을 기계 학습해 보았다'은 이것을 개선했습니다.

JS 샘플 없음

생각했던 것 이상으로, JS에서의 CoCo-SSD 전이 학습의 사례가 없는 것을 알았습니다.
그래서 어쨌든 GPU 환경이 필요하기 때문에 Google Colab에서 Python으로 전이 학습시키고 완성된 모델을 tfjs_converter 을 사용하여 JS 모델로 변환하려고 생각하고 실천했습니다.
파이썬이라면 얼마든지 전이 학습 사례가 굴러가고 있네요. 그 중에서 Github의 것을 사용했습니다. 맨 처음에, 화상·영상으로부터 「시부노 히나코 프로와 볼을 쫓는다」를 목표로 했습니다.

어노테이션 생성이 어렵습니다.

오브젝트 검출을 만든 분이라면 아시다시피, 1장의 화상으로부터 「시부노 프로」와 「볼」을 하나씩 정사각형으로 둘러싸고 XML로 하는 것이 힘들다. . 물론 툴을 사용했습니다만, 20장 작성이 한계였습니다. . 선인 여러분, 정말 고생입니다.

Python 모델은 할 수 있었지만. .

Jupyter Notebook, 편리하네요. 작성한 이미지와 XML로 바꿔 Google Colab에서 ipyonb에 준하여 실행하고, 무사 Python 모델은 할 수 있었습니다. 8000 에포크, 오차 거의 없음. 다만 원화상 20장은 적기 때문에, 어딘가에서 영향은 나올지도.
그리고는. 오류로 작동하지 않습니다.

인수 값이 다릅니다.

여기 에 있는 대로, Python버전의 모델은 그대로 JS판에서는 움직이지 않기 때문에, Python모델로부터 저것 이것 제거하지 않으면 안된다, 라고 하는 것으로, tensorflowjs_converter의 헬프를 잘 보면,
"--output_node_names는 --input_format=tf_frozen_model에서만 사용할 수 있습니다."
라고 있었으므로, --input_format=tf_frozen_model로서, 입력 파일에 「./saved_model」가 아니고, .pb 파일을 지정해 실행하면, 무사 변환 성공했습니다.
Tensorflow는 버전 의존성이 심한 것 같기 때문에, 특히 과거 기사에는 요주의입니다.

PC 성능에 따라 다름

여기
무엇이든 브라우저에서 움직이기 때문에 PC의 사양과 회선 상황에 따라 다릅니다. 모델 로드 ~ 그리기까지 수십 초 걸리는 것도. 이 근처가 JS판의 약점이군요.
예상은 하고 있었습니다만, 동영상이나 라이브로 사용할 수 있게 되기 위해서는, 스마포를 포함한 스펙 업과 경량 모델이 필요하게 생각합니다.
다만, 이것이 소지의 기기로 라이브로 경쾌하게 동작하게 되면, 스포츠 있어도 용도가 많아진다고 생각합니다.

무엇에 사용?

장래적으로는, 고가의 측정 기기에 필적하는 것을 만들려고 모색중.
협력자를 모집하고 있습니다.

그리고 시맨틱 세그멘테이션의 전이 학습에도 도전할까.
제목은 "시부노 히나코 프로를 숨기자"일까.