Google Colab에서 MV-Agents 학습

Google colaboratory를 사용하면 무료로 학습할 수 있기 때문에 세션이 끊기지 않도록 브라우저를 시작해야 하지만 자신의 로컬 PC 자원을 이용하고 싶지 않을 때 편리합니다.
학생들이 Unity의 ML-Agents를 배울 수 있도록 하기 위해 나는 이렇게 하는 것이 비교적 편리한 일을 총결하였다.

ML-Agents용 설치

!git clone https://github.com/Unity-Technologies/ml-agents.git -b 0.8.1
!pip install ./ml-agents/ml-agents/

version은 각자 사용하는 버전에 맞춰주세요.

Google 드라이브 설치

어렵게 오랜 시간 공부시켰지만 성과를 내려받기 전까지는 대화 초기화를 중단하고 이런 일이 생기면 슬프겠죠.
또한 실행을 중지할 때 학습이 끝난 모델을 생성하기 전에 처리도 끝난다.
따라서 Google Drive를 마운트하여 드라이브에 하나씩 저장하십시오.

from google.colab import drive
drive.mount('/content/drives') #もしくは好きなパス

셀에서 이 동작만 실행하면 인증 화면으로 이동할 수 있고 코드를 입력하면 드라이브를 마운트할 수 있습니다.이렇게 되면 Google Drive의 컨텐츠는 다음과 같은 상태가 됩니다.

%cd /content/drives/"My Drive"/  

디렉터리를 내부에서 바꾸면 학습 도중에 파일이 저장됩니다.
빈번하게 저장하기 위해서는 ml agents-learn을 실행할 때--save-freq=10000처럼 주파수를 높여 의외의 사고를 피하는 것을 권장합니다.

env와 config.github로 yaml 관리

ML-Agents를 공부할 때, 나는 env를build로 다시 만들거나 config 파일을 만지작거리며, 이것들을 github에 모아서 관리하고 싶다. Colab에서 복제할 때마다 사용하기 편리하다.

Tensorboard 활용

내가 말하고 싶은 것은 다른 노트북을 만들어서 내가 배운 점심시간과 같은 운행시간을 지정하고 다음 코드를 실행하면 tensorboard가 colab에서 출력하는 것이 매우 편리하다는 것이다

%load_ext tensorboard.notebook
%tensorboard --logdir /content/drives/"My Drive"/summaries

회의가 붕괴되어서, 내가 시도해 보지 않으면 실시간으로 볼 수 없다.
여기 기사.에 따르면 같은 운행시간은 여러 노트북에서 사용할 수 있지만 아무리 해도 좋지 않다.
tensorboard가 보이지 않으면 Reward의 평균치와 표준 편차로만 학습의 진전 상황을 파악할 수 있어 불편하다.
만약 누가 어떻게 해야 좋을지 알고 있다면, 반드시 나에게 알려주십시오