VProfressor.ai - 학생을 위한 연중무휴 가상 교수

내 제출물 개요

교육은 모든 것입니다. 지식은 무엇이든 가능하게 합니다.

즉, Covid-19는 학생들이 다양한 이유로 교수 또는 친구들과 상호 작용하고 시기적절한 피드백, 새로운 학습, 설명을 얻기 위해 고군분투하는 가상 학습을 학생들에게 강요했습니다.

이 문제를 해결하기 위해 우리는 학생들이 학습 속도와 효율성을 높이고 추가 학습을 통해 의심을 해소하는 데 도움이 되는 웹 애플리케이션을 고안했습니다.

VProfessor.ai에는 온라인 학습을 용이하게 하기 위해 설계된 다양한 기능이 포함되어 있습니다. 사용자는 wav/mp3/텍스트 파일을 업로드할 수 있습니다. 그런 다음 오디오의 Deepgram STT 기록이 데이터 요약과 함께 반환됩니다. 여기에는 키워드 및 주요 주제, Wikipedia 페이지 링크, NewsAPI의 최신 이벤트 및 추천 YouTube 동영상이 포함됩니다. 여기에서 사용자는 웹 사이트에서 요약 보고서를 읽거나 개인 학습을 위해 PDF로 다운로드할 수 있습니다. 또한 학생들은 질문을 "교수에게 묻고"Wolframalpha api를 활용한 짧은 답변을 직접 얻을 수 있습니다.

제출 범주

엉뚱한 와일드카드

GitHub의 코드 링크

GitHub 링크: https://github.com/Manikant92/DG_VProfressor.ai

추가 리소스/정보

데모 비디오: https://youtu.be/hPWR2ED0NK4

이 코드 조각만으로 응용 프로그램의 전체 기능이 제공됩니다.

  async function transcribe(file){
    const streamSource = {
      stream: fs.createReadStream(file),
      mimetype: mime.getType(file),
    };

    const response = await deepgram.transcription.preRecorded(streamSource, {
      punctuate: false,
      utterances: true,
    });
    console.log("DG Response" + response);

    var srtTranscript = response.toSRT(); // toWebVTT() //toSRT()
    srtTranscript = srtTranscript.replace(/\d+/g, '');
    srtTranscript = srtTranscript.replace(/:/g,'');
    srtTranscript = srtTranscript.replace(/-/g,'');
    srtTranscript = srtTranscript.replace(/>/g,'');
    srtTranscript = srtTranscript.replace(/,/g,'');
    console.log("DG SRT Transcript" + srtTranscript);
    return srtTranscript;
  }

자세히 알아보기

우리는 Deepgram Speech-to-Text API를 활용하고 이를 사용하여 오디오/비디오 파일을 서면 대본으로 변환합니다.

Azure Text Analytics를 사용하여 성적표, 요약 및 키워드가 포함된 분석 보고서를 생성합니다.

해당 키워드 출력으로 Wikipedia API, NewsAPI를 사용하여 키워드를 기반으로 링크를 생성합니다. 더 많은 정보를 제공하기 위해 YouTube-Data API를 사용하여 검색 쿼리를 기반으로 추천 YouTube 동영상을 검색하는 시스템도 만들 것입니다.

Azure Blob Storage를 사용하여 비디오/오디오 파일을 저장하고 있습니다.

"교수에게 물어보기"의 추가 기능이 사용자에게 제공되어 사용자가 질문이나 의심을 검색할 수 있으며, Wolframalpha api에서 답변을 가져와 사용자에게 표시합니다.

타격

Covid-19 동안 가상 학습 모드로 인해 모든 학생에게 광범위한 영향을 미치고 큰 혜택을 제공합니다.

한 곳에서 모든 정보를 얻을 수 있어 학생들의 시간과 노력을 절약할 수 있습니다.

학생/사용자의 효율성을 높입니다.

학습 속도를 향상시킵니다.

다중 API와 통합되어 학생들이 쉽게 학습할 수 있는 원스톱 앱입니다.

결론

Deepgram STT는 매우 정확하고 빠르기 때문에 학생 교육에 더욱 신뢰할 수 있습니다.

Deepgram STT를 사용하면 전체 애플리케이션에 대한 전체 기능이 제공됩니다.