Google Colab에서 kaggle API 사용

Colab에서 Kaggle 데이터 세트를 사용하는 방법을 기록해 둡니다.

사전에 하는 일

Kaggle 계정 페이지의 API에서 kaggle.json 다운로드.

다운로드한 파일을 Colab에 업로드합니다.

Colab에서 명령 실행

Kaggle API with Colab 를 참고했습니다.

먼저 kaggle 패키지를 설치합니다.
덧붙여서 Colab 로 ​​명령을 사용할 때는 !cd 라든지 !ls 와 같이 선두에!를 붙여 실행합니다.

!pip install kaggle

그런 다음 Kaggle API를 설정합니다.

from googleapiclient.discovery import build
import io, os
from googleapiclient.http import MediaIoBaseDownload
from google.colab import auth


auth.authenticate_user()

drive_service = build('drive', 'v3')
results = drive_service.files().list(
        q="name = 'kaggle.json'", fields="files(id)").execute()
kaggle_api_key = results.get('files', [])

filename = "/root/.kaggle/kaggle.json"
os.makedirs(os.path.dirname(filename), exist_ok=True)

request = drive_service.files().get_media(fileId=kaggle_api_key[0]['id'])
fh = io.FileIO(filename, 'wb')
downloader = MediaIoBaseDownload(fh, request)
done = False
while done is False:
    status, done = downloader.next_chunk()
    print("Download %d%%." % int(status.progress() * 100))
os.chmod(filename, 600)

Download 100%.

무료 다운로드 완료입니다. 이제 Colab에서 Kaggle API를 사용할 수 있습니다.

경쟁 페이지에서 데이터를 다운로드해보십시오. 빨간색 프레임 부분을 그대로 복사하여 명령줄에 붙여넣습니다.

!kaggle competitions download -c web-traffic-time-series-forecasting

Downloading train_1.csv.zip to /content
 98% 100M/102M [00:00<00:00, 78.9MB/s] 
100% 102M/102M [00:00<00:00, 111MB/s] 
Downloading key_2.csv.zip to /content
 91% 92.0M/101M [00:00<00:00, 85.9MB/s]
100% 101M/101M [00:00<00:00, 115MB/s]  
Downloading train_2.csv.zip to /content
 87% 130M/150M [00:01<00:00, 67.9MB/s]
100% 150M/150M [00:01<00:00, 94.2MB/s]
Downloading key_1.csv.zip to /content
 97% 93.0M/96.0M [00:00<00:00, 64.4MB/s]
100% 96.0M/96.0M [00:00<00:00, 110MB/s] 
Downloading sample_submission_2.csv.zip to /content
 91% 62.0M/68.2M [00:00<00:00, 55.1MB/s]
100% 68.2M/68.2M [00:00<00:00, 91.4MB/s]
Downloading sample_submission_1.csv.zip to /content
 76% 50.0M/66.0M [00:00<00:00, 43.3MB/s]
100% 66.0M/66.0M [00:00<00:00, 79.8MB/s]

다운로드 완료입니다.
zip 파일의 데이터는 unzip합니다.

!unzip train_1.csv.zip -d train_1.csv
!unzip key_1.csv.zip -d key_2.csv

이제 Colab에서 kaggle csv 데이터를 사용할 수 있습니다!

그 외에도 Kaggle API에는 편리한 기능이 여러 가지 있는 것 같기 때문에, 자세한 것은 GitHub에 들려 있는 Kaggle API의 README를 참조해 주세요. ↓
htps : // 기주 b. 코 m / 캇 g ぇ / 캇 g ぇ - API