colab Google Colaboratory에서 Whisper를 실행하는 방법 Whisper는 OpenAI에서 공개한 범용 음성 인식 모델입니다. 공식 기사에 따르면 자동 음성 인식 시스템은 웹에서 수집된 68만 시간의 다국어 및 멀티태스킹 데이터를 학습합니다. Whisper의 높은 정확도와 사용 편의성에 놀랐습니다. Whisper는 매우 유용한 명령줄을 제공하므로 부담 없이 사용해 볼 수 있습니다. Google Colaboratory에서 Whisper를 실행하는 방법... aipythontutorialcolab Colab에서 github 저장소 csv파일 불러오기 url파일로 작업을 해두면 별도의 raw파일 공유없이 다른사람들에게 노트북을 쉽게 공유할 수 있다는게 장점이 있다. 지난번에는 구글드라이브 공유파일 링크를 바로 사용할 수 있도록 코랩에 불러왔다면, 이번엔 github 저장소에 있는 파일을(아래에 표시) 로컬에 다운받지 않고, 그대로 읽어서 불러오려고 한다. ※ github 저장소에 있는 csv파일 불러오기 깃허브 저장소에서 불러올 csv파일... csvgithub저장소rawrepositoryurlpermalinkcolabpd.read_csvcolab 코랩(Colab)에서 노트북(ipynb) 파일을 마크다운/HTML 파일로 저장하기 주피터 노트북을 사용해서 분석을 하고 과제를 제출하거나 공유하려고 할때 노트북으로 그냥 보낼 수 없으니 마크다운 파일이나 html파일로 내려받는 경우가 필요하다. 아나콘다 주피터 노트북은 .md파일이나 .html파일로 내보내는게 쉽게 되어있는 반면에 코랩(cloab)에서는 .ipynb 파일과 .py파일로 내려받는 기능밖에 없는게 아쉽다. 물론 깃허브에 커밋하여 깃허브에서 다시 변환하는 방법도... !jupyter nbconvert --to markdownhtmlcolabMarkdownnbconvert구글googleipynb!jupyter nbconvert --to markdown 구글 드라이브 CSV 공유파일 코랩 & 주피터 노트북에 불러오기 📌 구글드라이브 CSV 공유파일 코랩 & 주피터 노트북에 불러오기 이전 포스트에서는 구글드라이브로 공유한 이미지 파일을 코랩과 주피터 노트북에 업로드 하는 방법을 설명했다면, 이번 포스트에는 데이터 분석을 위한 csv파일을 구글드라이브로 공유하여 링크를 만들어서 노트북에 업로드 하는 방법을 설명하고자 한다. 우선 구글드라이브에서 공유할 csv파일의 링크주소를 생성하였다. 만약 url링크 그대... colabCOUNTIFS구글드라이브코랩csvJupytergoogle driveCOUNTIFS 구글 드라이브 공유 이미지 코랩 & 주피터 노트북에 삽입하기 📌 코랩(Colab) & 주피터(Jupyter) 노트북에 구글 드라이브 공유 이미지 링크 업로드 오늘은 구글 코랩(Colab) 또는 주피터(Jupyter) 노트북 파일에 구글 드라이브로 공유하여 링크를 생성한 이미지 파일을 업로드 하는 방법에 대해 설명하고자 한다. 그래서 내가 공유한 노트북 파일을 누구든지 바로 실행해볼 수 있고, 코드가 실행이 되더라도 오류가 없도록 하기위해서 가급적 노트... 주피터colabCOUNTIFS구글드라이브코랩Jupytergoogle driveCOUNTIFS Colab과 GitHub 연동하기. Colab을 실행 할 본인의 Google Drive 아이디. 본인의 Github에 보면, 탭이 보일 텐데, 이 중 "Repositories" 를 누릅니다. 그러면 아래 창이 뜰 텐데, 생성하고 싶은 폴더의 이름을 적고, 공개 글로할지, 비공개글로 할지 정한 후, 가급적이면 "Add a README file"에 체크를 해 준 후 "Create repository"를 눌러 생성 합니다. Add ... colab연동깃허브코랩githubcolab [Project] Natural Language Processing with Disaster Tweets - Kaggle 주어진 트윗(tweet) 데이터를 분석하여 재난(disaster)에 관련된 트윗인지 아닌지의 여부를 분석하는 문제입니다. LSTM을 포함한 다양한 분류기법으로 만든 모델 중 정확도가 가장 높은 모델을 선정하고 정확도와 로스값을 시각화고자 합니다. location – the location the tweet was sent from (may be blank) target – in train.c... Data AnalyticscolabkaggleEmbeddingNatural Language Processing with Disaster TweetspythonprojectLSTMtesorflowNLP캐글KerasData Analytics 데이터셋 불러오기 코랩에서 데이터셋을 불러오려면 2가지 경우가 있을 것이다. A) Url에서 불러오기 B) pc에 저장된 데이터 불러오기 1.1 Url에서 불러오기 여기서 csv, excel은 파일 형식에 맞춰서 선택해주면 된다. 1.2 PC에 저장된 데이터 불러오기 1.2.1 구글드라이브에 업로드해서 불러오기 이렇게 치고 실행을하면 액세스 허용할건지 물어보는창이 뜬다. 허용을 하면되고 어떤분들은 코드가 나오... colab코딩colab colab python 판다스 데이터 구조 판다스에서는 두 가지 핵심 데이터 구조(data structure)을 사용한다. (데이터 구조 : 다양한 종류의 데이터 형식(Data type)이 모여 있는 객체이다.) Serise 여러 개의 레이블과 그 값을 들고 있는 일차원 배열 여러 개의 컬럼을 갖고 있으며 각각의 컬럼은 다른 데이터 형식의 값들을 담고 있을 수 있다. 위 예시에서는 레이블을 입력하지 않았기 때문에 디폴트 0부터 시작하... pandaspythoncolabcolab colab python 데이터가공 결측값 데이터 가공 (Data manipulation) 데이터 분석의 80% 이상 데이터 전처리(pre-processing)에 쓰인다. 결측값(missing values) 처리 중복값(duplicated values) 처리 오류값(error values) 처리 기존 값을 가공해 새로운 값을 만들기 등등... 결측값(missing values) 처리 많은 경우에 데이터에는 결측값(missing val... pythoncolabcolab colab python 데이터가공 중복값 데이터 가공(Data manipulation) 데이터 분석의 80% 이상 데이터 전처리(pre-processing)에 쓰인다. 결측값(missing values) 처리 중복값(duplicated values) 처리 오류값(error values) 처리 기존 값을 가공해 새로운 값을 만들기 등등... 중복값(duplicated values) 처리 중복값은 여러 이유로 생길 수 있다. 판다스에서... pandaspythoncolabcolab colab python 데이터가공 변형, 교체 데이터 가공 (Data manipulation) 데이터 분석의 80% 이상 데이터 전처리(pre-processing)에 쓰인다. 결측값(missing values) 처리 중복값(duplicated values) 처리 오류값(error values) 처리 기존 값을 가공해 새로운 값을 만들기 등등... 데이터 변형하기(Data transformation) 데이터 분석을 하다보면 데이터셋에 담긴... pandaspythoncolabcolab "Google 드라이브에 오류가 발생했습니다."발생 시 처리 방법: 드라이브를 공유하는 쓰레기통 빈 스크립트 공유 드라이브에 대한 대용량 파일을 만들 때 다음과 같이 Google 드라이브에 오류가 발생했습니다.파일을 저장할 수 없는 이벤트가 발생했습니다. 위의 원인은 다음과 같은 공유 드라이브의 제한을 받았기 때문일 수 있다. 공유 드라이브에 저장할 수 있는 최대 항목 수 공유 드라이브에 저장할 수 있는 항목은 최대 40만 개입니다.여기에는 파일, 폴더 및 단축키가 포함됩니다. 각 사용자는 내 콘서... GAScolabtech The New York Public Library의 API를 사용해 보십시오. The New York Public Library는 Digital Collections API를 제공합니다. 이 문서에서는 API 사용 방법의 예를 소개합니다. 먼저 아래 링크를 클릭하여 서명하십시오. 다음 창을 표시합니다. 필요한 정보를 입력하십시오. 입력하면 Welcome to NYPL API를 주제로 한 메시지가 표시됩니다.이 메일에는 Authentication Token이 기재되어 있... APIJSONcolabgooglecolabtech colab로 35GB 메모리 무료 활용 방법 오늘(2020년 10월 06일) 때의 방법이다. 이전에는 붕괴되면 선택항으로 등장했지만 지금은 실행할 수 없으니 이 방법을 사용할 수 없을 수도 있으니 탓하지 마세요. 그렇다고 생각해요.(JSON 파일이죠) 여기에 행을 추가합니다. 수첩 열기 선택 업로드 선택 최대 35GB의 메모리 용량 아래의 느낌으로 메모리를 파괴하면 해미숲을 선택할 수 있다. 이젠 안 돼... (선택 항목 없음...)... AIPythonPython 3colabtech PyCaret으로 AutoML의 세계를 엿보다 PyCaret 은 무즈알리가 2020년 4월 발표한 오픈 원본 코드 파이썬 머신러닝 라이브러리다.이 프로그램 라이브러리에 문제가 있다면 기계 학습 중의 다양한 알고리즘, 평가와 조화를 자동으로 테스트할 수 있다. 이 PyCaret은 알고리즘과 매개변수 설정을 자동으로 시도함으로써 인간의 동작을'시험결과 비교·판단'만 한다.기계학습의 세부사항을 몰라도 PyCareet이 덮인 범위 내에서 잘 해... Python기계 학습colabpycaretautomltech Google Colab을 사용하여 GCS 마운트 작은 단락이지만 매번 잊어버리고...GCS에 배치된 데이터를 Google Colab에서 참조하려는 경우가 있습니다.이럴 때 gcsfuse로 마운트할 수 있습니다. 먼저 GCP 인증이 필요합니다.다음 코드로 인증 코드의 입력을 구하기 때문에 실행 결과의 링크에서 튀어나와 복사하고 입력합니다. 인증에 성공하면 gcsfuse 설치 GCS의 세그먼트 설치... colabtech
Google Colaboratory에서 Whisper를 실행하는 방법 Whisper는 OpenAI에서 공개한 범용 음성 인식 모델입니다. 공식 기사에 따르면 자동 음성 인식 시스템은 웹에서 수집된 68만 시간의 다국어 및 멀티태스킹 데이터를 학습합니다. Whisper의 높은 정확도와 사용 편의성에 놀랐습니다. Whisper는 매우 유용한 명령줄을 제공하므로 부담 없이 사용해 볼 수 있습니다. Google Colaboratory에서 Whisper를 실행하는 방법... aipythontutorialcolab Colab에서 github 저장소 csv파일 불러오기 url파일로 작업을 해두면 별도의 raw파일 공유없이 다른사람들에게 노트북을 쉽게 공유할 수 있다는게 장점이 있다. 지난번에는 구글드라이브 공유파일 링크를 바로 사용할 수 있도록 코랩에 불러왔다면, 이번엔 github 저장소에 있는 파일을(아래에 표시) 로컬에 다운받지 않고, 그대로 읽어서 불러오려고 한다. ※ github 저장소에 있는 csv파일 불러오기 깃허브 저장소에서 불러올 csv파일... csvgithub저장소rawrepositoryurlpermalinkcolabpd.read_csvcolab 코랩(Colab)에서 노트북(ipynb) 파일을 마크다운/HTML 파일로 저장하기 주피터 노트북을 사용해서 분석을 하고 과제를 제출하거나 공유하려고 할때 노트북으로 그냥 보낼 수 없으니 마크다운 파일이나 html파일로 내려받는 경우가 필요하다. 아나콘다 주피터 노트북은 .md파일이나 .html파일로 내보내는게 쉽게 되어있는 반면에 코랩(cloab)에서는 .ipynb 파일과 .py파일로 내려받는 기능밖에 없는게 아쉽다. 물론 깃허브에 커밋하여 깃허브에서 다시 변환하는 방법도... !jupyter nbconvert --to markdownhtmlcolabMarkdownnbconvert구글googleipynb!jupyter nbconvert --to markdown 구글 드라이브 CSV 공유파일 코랩 & 주피터 노트북에 불러오기 📌 구글드라이브 CSV 공유파일 코랩 & 주피터 노트북에 불러오기 이전 포스트에서는 구글드라이브로 공유한 이미지 파일을 코랩과 주피터 노트북에 업로드 하는 방법을 설명했다면, 이번 포스트에는 데이터 분석을 위한 csv파일을 구글드라이브로 공유하여 링크를 만들어서 노트북에 업로드 하는 방법을 설명하고자 한다. 우선 구글드라이브에서 공유할 csv파일의 링크주소를 생성하였다. 만약 url링크 그대... colabCOUNTIFS구글드라이브코랩csvJupytergoogle driveCOUNTIFS 구글 드라이브 공유 이미지 코랩 & 주피터 노트북에 삽입하기 📌 코랩(Colab) & 주피터(Jupyter) 노트북에 구글 드라이브 공유 이미지 링크 업로드 오늘은 구글 코랩(Colab) 또는 주피터(Jupyter) 노트북 파일에 구글 드라이브로 공유하여 링크를 생성한 이미지 파일을 업로드 하는 방법에 대해 설명하고자 한다. 그래서 내가 공유한 노트북 파일을 누구든지 바로 실행해볼 수 있고, 코드가 실행이 되더라도 오류가 없도록 하기위해서 가급적 노트... 주피터colabCOUNTIFS구글드라이브코랩Jupytergoogle driveCOUNTIFS Colab과 GitHub 연동하기. Colab을 실행 할 본인의 Google Drive 아이디. 본인의 Github에 보면, 탭이 보일 텐데, 이 중 "Repositories" 를 누릅니다. 그러면 아래 창이 뜰 텐데, 생성하고 싶은 폴더의 이름을 적고, 공개 글로할지, 비공개글로 할지 정한 후, 가급적이면 "Add a README file"에 체크를 해 준 후 "Create repository"를 눌러 생성 합니다. Add ... colab연동깃허브코랩githubcolab [Project] Natural Language Processing with Disaster Tweets - Kaggle 주어진 트윗(tweet) 데이터를 분석하여 재난(disaster)에 관련된 트윗인지 아닌지의 여부를 분석하는 문제입니다. LSTM을 포함한 다양한 분류기법으로 만든 모델 중 정확도가 가장 높은 모델을 선정하고 정확도와 로스값을 시각화고자 합니다. location – the location the tweet was sent from (may be blank) target – in train.c... Data AnalyticscolabkaggleEmbeddingNatural Language Processing with Disaster TweetspythonprojectLSTMtesorflowNLP캐글KerasData Analytics 데이터셋 불러오기 코랩에서 데이터셋을 불러오려면 2가지 경우가 있을 것이다. A) Url에서 불러오기 B) pc에 저장된 데이터 불러오기 1.1 Url에서 불러오기 여기서 csv, excel은 파일 형식에 맞춰서 선택해주면 된다. 1.2 PC에 저장된 데이터 불러오기 1.2.1 구글드라이브에 업로드해서 불러오기 이렇게 치고 실행을하면 액세스 허용할건지 물어보는창이 뜬다. 허용을 하면되고 어떤분들은 코드가 나오... colab코딩colab colab python 판다스 데이터 구조 판다스에서는 두 가지 핵심 데이터 구조(data structure)을 사용한다. (데이터 구조 : 다양한 종류의 데이터 형식(Data type)이 모여 있는 객체이다.) Serise 여러 개의 레이블과 그 값을 들고 있는 일차원 배열 여러 개의 컬럼을 갖고 있으며 각각의 컬럼은 다른 데이터 형식의 값들을 담고 있을 수 있다. 위 예시에서는 레이블을 입력하지 않았기 때문에 디폴트 0부터 시작하... pandaspythoncolabcolab colab python 데이터가공 결측값 데이터 가공 (Data manipulation) 데이터 분석의 80% 이상 데이터 전처리(pre-processing)에 쓰인다. 결측값(missing values) 처리 중복값(duplicated values) 처리 오류값(error values) 처리 기존 값을 가공해 새로운 값을 만들기 등등... 결측값(missing values) 처리 많은 경우에 데이터에는 결측값(missing val... pythoncolabcolab colab python 데이터가공 중복값 데이터 가공(Data manipulation) 데이터 분석의 80% 이상 데이터 전처리(pre-processing)에 쓰인다. 결측값(missing values) 처리 중복값(duplicated values) 처리 오류값(error values) 처리 기존 값을 가공해 새로운 값을 만들기 등등... 중복값(duplicated values) 처리 중복값은 여러 이유로 생길 수 있다. 판다스에서... pandaspythoncolabcolab colab python 데이터가공 변형, 교체 데이터 가공 (Data manipulation) 데이터 분석의 80% 이상 데이터 전처리(pre-processing)에 쓰인다. 결측값(missing values) 처리 중복값(duplicated values) 처리 오류값(error values) 처리 기존 값을 가공해 새로운 값을 만들기 등등... 데이터 변형하기(Data transformation) 데이터 분석을 하다보면 데이터셋에 담긴... pandaspythoncolabcolab "Google 드라이브에 오류가 발생했습니다."발생 시 처리 방법: 드라이브를 공유하는 쓰레기통 빈 스크립트 공유 드라이브에 대한 대용량 파일을 만들 때 다음과 같이 Google 드라이브에 오류가 발생했습니다.파일을 저장할 수 없는 이벤트가 발생했습니다. 위의 원인은 다음과 같은 공유 드라이브의 제한을 받았기 때문일 수 있다. 공유 드라이브에 저장할 수 있는 최대 항목 수 공유 드라이브에 저장할 수 있는 항목은 최대 40만 개입니다.여기에는 파일, 폴더 및 단축키가 포함됩니다. 각 사용자는 내 콘서... GAScolabtech The New York Public Library의 API를 사용해 보십시오. The New York Public Library는 Digital Collections API를 제공합니다. 이 문서에서는 API 사용 방법의 예를 소개합니다. 먼저 아래 링크를 클릭하여 서명하십시오. 다음 창을 표시합니다. 필요한 정보를 입력하십시오. 입력하면 Welcome to NYPL API를 주제로 한 메시지가 표시됩니다.이 메일에는 Authentication Token이 기재되어 있... APIJSONcolabgooglecolabtech colab로 35GB 메모리 무료 활용 방법 오늘(2020년 10월 06일) 때의 방법이다. 이전에는 붕괴되면 선택항으로 등장했지만 지금은 실행할 수 없으니 이 방법을 사용할 수 없을 수도 있으니 탓하지 마세요. 그렇다고 생각해요.(JSON 파일이죠) 여기에 행을 추가합니다. 수첩 열기 선택 업로드 선택 최대 35GB의 메모리 용량 아래의 느낌으로 메모리를 파괴하면 해미숲을 선택할 수 있다. 이젠 안 돼... (선택 항목 없음...)... AIPythonPython 3colabtech PyCaret으로 AutoML의 세계를 엿보다 PyCaret 은 무즈알리가 2020년 4월 발표한 오픈 원본 코드 파이썬 머신러닝 라이브러리다.이 프로그램 라이브러리에 문제가 있다면 기계 학습 중의 다양한 알고리즘, 평가와 조화를 자동으로 테스트할 수 있다. 이 PyCaret은 알고리즘과 매개변수 설정을 자동으로 시도함으로써 인간의 동작을'시험결과 비교·판단'만 한다.기계학습의 세부사항을 몰라도 PyCareet이 덮인 범위 내에서 잘 해... Python기계 학습colabpycaretautomltech Google Colab을 사용하여 GCS 마운트 작은 단락이지만 매번 잊어버리고...GCS에 배치된 데이터를 Google Colab에서 참조하려는 경우가 있습니다.이럴 때 gcsfuse로 마운트할 수 있습니다. 먼저 GCP 인증이 필요합니다.다음 코드로 인증 코드의 입력을 구하기 때문에 실행 결과의 링크에서 튀어나와 복사하고 입력합니다. 인증에 성공하면 gcsfuse 설치 GCS의 세그먼트 설치... colabtech