Google Colab에서 수퍼유저에게 제공하는 팁

13453 단어 jupyter machinelearning datascience

Colab은 구글에서 가장 좋은 제품 중의 하나다.그것은 나 같은 학습자와 실천자들로 하여금 GPU에 자유롭게 접근할 수 있게 한다. 그렇지 않으면 그들은 고급 GPU를 살 수 없다.
이 인터페이스는 매우 사용하기 쉽지만,colab에는 알려지지 않고 기록되지 않은 기능이 많다.이 글에서 나는 그들의 공식 대화와 기본 용법에서 발견한 특성을 공유할 것이다.

1. Scratchpad 노트북

이것은 매우 흔히 볼 수 있는 장면이다. 우리가colab에서 임시 내용을 시험적으로 사용할 때, 우리는 무질서한 무제목 노트를 한 무더기 만들 것이다.

이 문제를 해결하기 위해서 당신은 아래에 제시된 링크에 책갈피를 추가할 수 있습니다.이것은 특수한 scratch 노트북을 열 것입니다. 이 노트북에 대한 변경 사항은 주 계정에 저장되지 않습니다.

https://colab.research.google.com/notebooks/empty.ipynb

2. 동네 정시 집행

우리가 수동으로 코드의 시작 시간과 종료 시간 사이의 차이를 계산하여 사용하는 시간을 평가하는 것은 매우 흔한 일이다.
Colab는 이를 위한 내장 기능을 제공합니다.셀을 실행하면 셀 실행 아이콘에 마우스를 걸면 실행 시간을 추정할 수 있습니다.

3. 실행 셀의 일부

셀을 선택하고 Runtime > Run Selection 버튼을 누르거나 키보드 단축키 Ctrl + Shift + Enter 를 사용하면 셀의 일부만 실행할 수 있습니다.

4. Jupyter 노트북 키보드 단축키

Jupyter Notebook의 단축키를 잘 알면 Colab에서 직접적으로 작동하지 않습니다.하지만 나는 그것들을 비추기 위해 심리 모델을 찾았다.
Jupyter에서 사용하는 모든 키보드 단축키 앞에 추가Ctrl + M만 하면 됩니다.이 경험법은 대부분의 흔한 용례에 적용된다.
행동
Jupyter 노트북
구글
위에 셀 추가
A.
Ctrl+M+A
아래에 셀 추가
B
Ctrl+M+B
모든 키보드 보기 아이콘
H
Ctrl+M+H
셀을 코드로 변경
Y
Ctrl+M+Y
셀을 가격 인하로 변경
M
Ctrl+M+M
인터럽트 코어
둘째,
Ctrl+M+I
셀 삭제
DD
Ctrl+M+D
노트북 점검
Ctrl+S
Ctrl+M+S
다음은 이 규칙의 현저한 예외들입니다. 단축키는 완전히 바뀌거나 변하지 않습니다.
행동
Jupyter 노트북
구글
재부팅 시
00
Ctrl+M+.
셀 실행
Ctrl+Enter
Ctrl+Enter
셀을 실행하고 아래에 새 셀을 추가합니다
Alt+Enter
Alt+Enter
셀을 실행하고 다음 셀로 이동
Shift+Enter
Shift+Enter
현재 행 주석 달기
Ctrl+/
Ctrl+/

5, 클래스 정의로 이동

IDE와 마찬가지로 클래스 이름을 눌러 클래스 정의로 이동할 수 있습니다.예를 들어, 여기서 Ctrl 키를 누른 다음Ctrl 클래스 이름을 클릭하여 Keras의 밀집 계층에 대한 클래스 정의를 확인합니다.

6. GitHub에서 노트북 열기

Google Colab 팀은 GitHub의 노트북을 Colab에서 직접 열 수 있는 공식 크롬 확장을 제공합니다.here 에서 설치할 수 있습니다.
설치 후 GitHub 노트북의 colab 아이콘을 클릭하여 직접 엽니다.

또는 Dense 를 github.com 로 교체하여 GitHub 노트북을 수동으로 열 수도 있습니다.

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

... 에 이르다

https://colab.research.google.com/github/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

7. Colab에서 Flask 애플리케이션 실행

flask-ngrok라는 라이브러리가 있습니다. colab에서 실행되는 Flask 웹 응용 프로그램을 쉽게 공개하여 원형을 보여 줍니다.먼저 colab.research.google.com/github 및 flask 을 설치해야 합니다.

!pip install flask-ngrok flask==0.12.2

그리고 flask 앱 대상을 flask-ngrok 함수에 전달하면 서버가 시작될 때ngrok 단점을 공개합니다.

from flask import Flask
from flask_ngrok import run_with_ngrok

app = Flask(__name__)
run_with_ngrok(app)

@app.route('/')
def hello():
    return 'Hello World!'

if __name__ == '__main__':
    app.run()

Colab의 패키지 작성자official example에서 사용할 수 있습니다.

8. Tensorflow 버전 간 전환

이 신기한 로고를 사용하여 Tensorflow 1과 Tensorflow 2 사이를 쉽게 전환할 수 있습니다.
Tensorflow 1.15.2로 전환하려면 다음 명령을 사용합니다.

%tensorflow_version 1.x

Tensorflow 2.2로 전환하려면 다음 명령을 실행합니다.

%tensorflow_version 2.x

실행을 다시 시작해야 효과가 발생합니다.성능상의 이유로 Colab는 run_with_ngrok 에서 설치하지 않고 미리 설치된 Tensorflow 버전을 사용하는 것을 권장합니다.

9. 장력판 통합

Colab는 노트북에서 직접 Tensorboard를 사용할 수 있는 신기한 명령도 제공했다.로그 디렉터리 위치를 설정하려면 pip 로고만 사용하십시오.당신은 official notebook로부터 그것을 사용하는 것을 배울 수 있습니다.

%load_ext tensorboard
%tensorboard --logdir logs

계기 자원 제한

Colab은 무료 및 전문 버전에 다음과 같은 사양을 제공합니다.예를 들어, 더 나은 실행, GPU, 메모리가 필요하다면, 매달 10달러의 가격으로 프로 버전으로 전환할 수 있습니다.
버전
그래픽 프로세서
GPU Ram
메모리
저장
CPU 코어
유휴 시간 초과
최대 가동 시간
프리
테슬라 K80
11.44GB
13.7GB
37GB
이.
90분
12시간
찬성하다
테슬라 P100
16GB
27.4GB
37GB
사.
90분
24시간
다음 명령을 실행하여 할당된 GPU를 볼 수 있습니다.

!nvidia-smi

CPU에 대한 정보는 다음 명령을 실행할 수 있습니다

!cat /proc/cpuinfo

이와 유사하게 당신은 실행을 통해

import psutil
ram_gb = psutil.virtual_memory().total / 1e9
print(ram_gb)

11. 대화형 셸 사용하기

Colab에 내장된 상호 작용 터미널이 없습니다.그러나 --logdir 명령을 사용하여 셸 명령을 상호작용으로 시도할 수 있습니다.이 명령을 실행하기만 하면 인터랙티브 입력을 받을 수 있습니다.

!bash

현재 지정한 입력 상자에서 셸 명령을 실행할 수 있습니다.

셸을 종료하려면 입력 상자에 bash 를 입력하십시오.

12. 현재 메모리 및 스토리지 사용 현황

Colab은 RAM 및 디스크 사용량 표시기를 제공합니다.표시기에 마우스를 놓으면 현재 사용량과 총 용량을 포함하는 팝업 창이 나타납니다.

13. "Colab에서 열기" 엠블럼

다음 할인 코드를 사용하여 Open in Colab 배지를 exit 또는 jupyter 노트북에 추가할 수 있습니다.

가격 인하 코드에서, 우리는 SVG 이미지를 불러와서colab 노트북에 연결합니다.

[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/notebooks/basic_features_overview.ipynb)

14. 판다 상호작용 테이블

Colab는 판다스 데이터 프레임에 상호작용 정렬과 필터 기능을 추가하기 위해 노트북 확장을 제공합니다.그것을 사용하려면 다음 코드를 실행하십시오.

%load_ext google.colab.data_table

아래의 확장자를 불러오면 일반적인pandas 데이터 프레임과 상호작용 데이터 프레임을 볼 수 있습니다.

15. Conda 환경 설정

miniconda를python 환경 관리자로 사용하면 노트북 맨 위에서 이 명령을 실행하여colab에서 설정할 수 있습니다.

# Download Miniconda installation script
!wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

# Make it executable
!chmod +x Miniconda3-latest-Linux-x86_64.sh

# Start installation in silent mode
!bash ./Miniconda3-latest-Linux-x86_64.sh -b -f -p /usr/local

# Make conda packages available in current environment
import sys
sys.path.append('/usr/local/lib/python3.7/site-packages/')

계산 단원을 실행하면 평소와 같이conda를 사용하여 패키지를 설치할 수 있습니다.

!conda install -y flask

16. 명령줄에서 Colab 노트북 관리

colab-cli라는 라이브러리를 사용하여 colab 노트북을 쉽게 만들고 로컬 노트북과 동기화할 수 있습니다.

17. 백그라운드 작업 실행

일반적인 프로그램을 실행하기 전에, 우리는 웹 서버나 백엔드 작업을 시작해야 한다.
백그라운드 작업을 실행하려면 README.md 명령을 사용하고 일반 셸 명령을 사용하며 백그라운드에서 실행하려면 끝에 nohup 을 추가합니다.백그라운드 작업에 막히지 않고 노트북에서 셀을 실행할 수 있습니다.