딥 스터디를 위한 물리적 아날로그 환경 구축(PyBullet)

심층 강화 학습의 물리 시뮬레이션 환경

심층강화학습과 관련된 책을 읽고 PyBllet이라는 프로그램 라이브러리의 물리적 시뮬레이션 환경을 구축해 필기했다.
https://amzn.to/2Qp0Vhe
Linux(Ubuntu), 애플 Silicon(M1) Mac을 사용하여 환경을 구축합니다.
Intel Mac에서 Open AI Gym의 환경 구축에 앞서 다음과 같이 정리했다.
https://qiita.com/karaage0703/items/9be1d5b7f4ca4b368bdc
자꾸 자기만의 환경을 만들고 있는데...

PyBulet 환경 구축

Ubuntu 18.04

이하로 실행하면 된다.간단하네.

$ pip3 install pybullet
$ pip3 install numpy

Mac(Intel/Apple Silicon）

Python 환경은 MiniForge로 구성됩니다.이유와 방법은 아래의 문장을 참조하시오.
https://zenn.dev/karaage0703/articles/f3254b14898b4d
MiniForge를 설치한 후 Pythn3을 수행합니다.8개의 환경을 구축하여 활동하다.

$ conda create --name python38 python=3.8
$ conda activate python38

다음 명령을 사용하여 MiniForge에 PyBulet을 설치합니다.

$ conda install pybullet

PackagesNotFoundError와 가방을 찾을 수 없는 오류가 발생하면 pip로 설치하십시오.

$ pip install pybullet

PyBulet 사용 방법

PyBullet을 운전해 보세요.

$ git clone --depth 1 https://github.com/bulletphysics/bullet3
$ cd bullet3/examples/pybullet/examples
$ python3 humanoid_manual_control.py

아래의 인형이 나타나면 OK.

PyBulet에서 심층 강화 학습 진행

TensorFlow/TV-Agents 설치

PyBulet에서 심층 강화 학습을 하려면 TensorFlow, TV-Agents도 필요하다.애플 Silicon의 Tensor Flow/TF-Agents는 좀 복잡하니 참고하세요여기 기사..
Ubuntu 또는 Intel Mac의 경우 다음 명령을 사용하여 TensorFolow/TFT-Agents를 설치합니다.

$ pip install tensorflow
$ pip install tf_agents

PyBulet의 심층 강화 학습 샘플 동작

샘플은 아래의 요령에 따라 운행한다.

$ python -m pybullet_envs.examples.enjoy_TF_HumanoidFlagrunHarderBulletEnv_v1_2017jul

순조롭게 가동되면 다음과 같은 위험 샘플이 작동됩니다(웃음)
나는 또 다른 샘플을 시험해 보고 싶다.샘플 프로그램의 위치는 다음 명령을 통해 찾을 수 있습니다.

$ find / -name 'enjoy_TF_Humanoid*'

Intel Mac는 다음 위치에 있습니다./Users/karaage/miniforge3/pkgs/pybullet-3.09-py38hbd83c44_2/lib/python3.8/site-packages/pybullet_envs/examples/애플 Silicon Mac은 다음과 같습니다./Users/karaage/miniforge3/envs/python38/lib/python3.8/site-packages/pybullet_envs/examples/다음은 enjoy_xxx.py 프로그램을 시작하면 즐겁습니다.

$ cd /Users/karaage/miniforge3/envs/python38/lib/python3.8/site-packages/pybullet_envs/examples/

기타, 처음에 소개한'텐센트 플로우를 통한 심층 강화 학습 입문'의 서적 샘플 프로그램은 다음과 같다.
https://www.ohmsha.co.jp/book/9784274226731/
나는 절차의 상세한 내용을 책을 읽으면 깊이 이해할 수 있을 것이라고 생각한다.

총결산

PyBulet, 그렇게 무겁지 않게 시도할 수 있으니까 책을 보면서 놀고 싶어요.다음엔 유닛이죠?
https://amzn.to/2Qp0Vhe

참고 자료

https://qiita.com/Conny_Brown_jp/items/b09928bea3d63ce2a68d
https://note.com/npaka/n/nce9c85eb253e