SkyWay × Cognitive Service

Cognitive Service를 아십니까?


  • Microsoft가 개발 한 이미지, 음성, 문장 등을 인식하고 분석하는 서비스
  • 이번에는 Face API를 사용

  • 사진에 포함된 얼굴 감지, 식별, 분석, 그룹화, 태그 지정


    이번에 만든 것


  • 감정 분석 기능이있는 화상 채팅
  • 화상 채팅을 하고 있는 상대의 얼굴을 분석해 감정 등을 추측해 준다
  • 그 외에도 나이, 안경을 쓰고 있는지 등의 정보를 표시합니다


  • 데모



    htps : // 기주 b. 코 m / 카도 타 / 스키와 y x x 코 g에 ゔ
  • clone하고 움직여보세요.
  • SkyWay와 Face API의 API KEY를 자신의 것으로 교체하십시오.


  • 메커니즘


  • 베이스는 SkyWay P2P 영상 채팅
  • 숨겨진 <canvas> 있고 정기적으로 drawImage()를 사용하여 그림을 한 프레임 그리기
  • 그 한 프레임을 toBlob() 로 Blob로 변환하여 FaceAPI로 POST
  • 반환 된 결과를 SkyWay의 DataConnection을 사용하여 상대방에게 보내기
  • 인식 결과를 받으면 각 항목을 표시합니다



  • SkyWay의 여기가 좋다!


  • 웹 페이지에 "통신"기능을 쉽게 추가 할 수있는 곳
  • 화상 채팅 등의 기능에 주목하기 쉽지만 데이터 교환을 쉽게 할 수있는 곳도 장점이라고 생각합니다.
  • 스스로 서버측의 개발, 운용을 하지 않아도 된다


  • 향후 개선점


  • 여러 사람도 사용 가능
  • SFU를 사용하여 샘플을 기반으로 작성
  • SFU를 사용하면 부하가 억제된다(P2P라면 3명 이상은 힘들다…)



  • 요약


  • 영상이나 음성을 인식하여 부가가치를 붙일 수 있습니다.
  • Cognitive Service에는 Face API 외에도 다양한 API가 있습니다.
  • SkyWay와 Cognitive Service를 결합하면 재미있는 영상 채팅이 가능합니다.
  • 좋은 웹페이지 즐겨찾기