빨리, 맞춰봐! 🤖 내가 무엇을 그리고 있는지 추측할 수 있나요?

6775 단어 deepgramhackwithdg

개요



내 제출물은 Quick, Guess!입니다. 그림과 비슷한 추측 게임이지만 컴퓨터가 모든 그림을 그리는 동안 추측을 합니다. 컴퓨터는 Deepgram's Speech-to-Text 서비스의 도움으로 추측을 듣고 평가하고 Quick, Draw! 데이터 세트를 사용하여 그림을 그립니다.

다음은 게임의 간단한 데모입니다.



놀다



약 40개의 그림 카테고리가 있고(현재) 각 카테고리마다 100개의 무작위 그림이 있습니다. 40개를 모두 통과할 수 있습니까? 시도해 볼 준비가 되셨습니까? 당신은 할 수 있습니다 play Quick, Guess! here , 이 사람 🤖.

게임이 호스팅되는 Azure 앱 서비스는 시작하는 데 시간이 걸릴 수 있습니다. 게임이 로드되지 않으면 새로 고침을 누르세요.

제출 카테고리:



그램 게이머

GitHub의 코드 링크




켈리첸04 / 빠른 추측






빠른 추측


Quick, Guess에 오신 것을 환영합니다. 픽셔너리와 비슷한 추측 게임이지만 컴퓨터가
도면을 합니다. 컴퓨터는 Deepgram's Speech-to-text API을 사용하여 추측을 듣고 Quick, Draw! 데이터 세트를 사용하여 그림을 그립니다.

여기에서 게임을 확인하십시오.
https://quickguess.azurewebsites.net/

지역 개발


전제 조건


Quick Guess의 로컬 인스턴스를 실행하기 전에 설치하거나 설치해야 합니다.

  • create an account with Deepgram 및 grap an API key(키 생성 권한이 있는 키여야 함)
  • npm
  • 파이썬 3
  • 핍
  • docker(Mongo 실행에 필요, Mongo 서버에 대한 액세스 권한이 있는 경우 건너뛸 수 있음)

    • 파이썬


    # from the project root setup virtual env
python -m venv .venv
source .venv/bin/activate
# installing dependencies
(.venv) pip install -r requirements.txt

    도면 데이터 세트

    Quick Guess, uses the Quick Draw! to draw the pictures.

    Grab the drawing data, they are big files…

    View on GitHub

    추가 리소스/정보

    빨리, 맞춰봐!

    If you're interested, here's some additional info about the project.

    도면 데이터 세트

    The Quick, Draw! data set is huge, I've only loaded a subset (~4k), and only drawings that Google model were able to correctly identify. The individual drawings are stored as multi-dimensional points on a path representing a stroke.

    시스템 디자인

    A very high-level overview of the system design.

             ┌─────────────────────────────┐
         │        Azure Services       │
 ┌───────┴──────────────┐              │ 
 │   Quick, Guess App   │ ┌──────────┐ │ (import script)  
 │ ┌───────┐ ┌────────┐ │ │ Mongo DB ╠════════════╗    
 │ │ React │ │ Python │ │ │ (Cosmos) │ │       Quick, Draw
 │ │  App  │ │  App   | │ └──────────┘ │         data set
 │ └───────┘ └───╦────┘ ├──────────────┘    
 └───────────────║──────┘ 
                 ╚═════════ Deepgram Services
                              /keys
                              /listen


    시스템/애플리케이션은 세 부분으로 구성됩니다.
  • Cosmos DB에서 지원하는 MongoDB 인터페이스
  • 그림 데이터를 로드하는 작은 Python 스크립트

  • 백엔드 Python 앱(특히 Starlette) 제공
  • 더 영구적인 API 키를 노출하지 않도록 클라이언트 앱에 대한 단기 액세스 토큰
  • 클라이언트에 데이터 그리기

  • 게임을 제공하는 프런트 엔드 클라이언트(React)

    • Quick, Guess 애플리케이션이 Azure에서 실행 중이며 GitHub에서 자동으로 배포됩니다.

    실행, 코드로 플레이



    좀 더 자세히 알아보려면 GitHub 리포지토리를 확인하고 README.md에 따라 로컬로 설치하고 실행하세요.

    https://github.com/kellychen04/quick-guess

    도전



    놀랍게도 Deepgram과의 통합은 매우 쉬웠고 모든 것이 제대로 작동했습니다. 주로 다음과 같은 다른 영역에서 몇 가지 문제가 있었습니다.
  • 리액트를 다시 배우고(2년전에 가지고 놀았음) 게임에서 상태를 관리하는 것이 상당히 어려웠기 때문에 다시 방문하여 개선하고 싶은 영역입니다
  • Azure에서 응용 프로그램을 호스팅하는 방법을 알아내고 구성을 디버깅하기가 어렵습니다. 특히 모든 것이 "자동화"된 경우에는 더욱 그렇습니다
    • .

    전반적으로 저는 이 프로젝트를 구축하는 데 많은 재미를 느꼈습니다. 확인해보시고 마음에 드시면 알려주세요 :-). 제 제출물을 확인해 주셔서 감사합니다!

    건배!
    [귀찮은 것은 파이썬으로! ] 인터넷에서 이미지 자동 수집
    리액트 컨텍스트 단순화

    좋은 웹페이지 즐겨찾기

    개발자 우수 사이트 수집

    개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
    best100-homepage