개시하다

AWS 딥레이서 리그 6월 가상 회로에 등장하는 새로운 수업은 사내에서도 스터디회를 필두로 많은 화제를 모았다.특히

훈련용 트럭(Kumo Torakku Training)이 완주하기 어려운 문제

경주용 트럭(Kumo Torakku)의 모양이 다른 문제

이 점에 관한 토론이 여기저기서 일어나다.
이런 습관이 있던 6월 가상회로에서 1위를 차지한 퓨미아키의 주행 기록과 청취를 담은 학습 지침이 공개됐다.
이번에도 AWS DeepRacer 세미나의 GiitHub에 공개된 log-analyysis 노트를 활용해 분석했다.
https://github.com/aws-samples/aws-deepracer-workshops/
로그 분석 도구의 가져오기 방법 및 사용 방법
AWS DeepRacer의 로그 분석 도구를 사용해 보았습니다.
참고해주세요.
주의

이하 내용은 2019년 7월 4일 당시 견본 노트를 대상으로 한다.다른 버전의 공책은 사용할 수 없을 수도 있습니다.

로그의 분석은 6월 가상 회로에서 1위의 데이터, 모델을 대상으로 한다.

이 글은 시종 개인의 견해에 근거하여 기재된 것이다.

훈련 모델의 분석 결과

Plot rewards per Iteration

step당 최대 보수는 1입니다.

Reward distribution for all actions

Probability distribution on decisions (actions)

가상 회로의 주행 기록

가상 회로가 보낸 기록은 CloudWatchLogs의 것이다
/aws/deepracer/leaderboard/Simulation Jobs/다음은 주행 후 로그입니다.

Evaluation Run Analysis

모든 에피소드 중에서 전 코스를 완주한 것은 네 번째 에피소드뿐이다.
그 결과 랩티미는 10.11초였으나 분석에 첫걸음이 시간에 포함되지 않아 공식 기록은 10.312초였다.
또 훈련용 트럭으로 분석했기 때문에 경기에서 하차한 것처럼 보였지만, 실제 경기용 트럭에는 그림(오른쪽)과 같은 급발찌와 시폰이 없었다.

완주 스토리 step 수는 149입니다.

감상과 고찰

다음은 단지 나 개인의 견해일 뿐이다.
Reward distribution for all actions를 보면 트럭의 곡선과 실리콘이 아닌 단축키 노선을 따라가는 것을 알 수 있다.(Fumiaki는 5월 London Loop에서도 같은 수법을 사용했다)
훈련 트럭이 왼쪽으로 돌면 다음 몇 시가 트랙의 오른쪽이다.

훈련 과정에서 시뮬레이션은 좌회전 노선 영상이다.
오직 이 점만이 내가 수업 라인과 반대되는 방향으로 오른쪽으로 돌고 다른 점에서 노선에 따라 구부릴 수 있다는 것을 알게 되었다.
이런 것들은 가상 회로의 완성률(1/5)에도 나타나 쉽게 퇴출되는 중점이 되었다.
나는 이 일에서 이 가능성을 믿고 가상 회로에 몇 번이나 도전했을 것이라고 생각한다.

학습 방침

로그와 데이터에서 읽을 수 없는 곳을 Fumaiki에게 직접 물었습니다.

1. 훈련용 쿠모토라쿠를 어떻게 완주할 것인가?

먼저 완주를 목적으로 공부를 한 뒤 빠른 템포를 더 쉽게 선택할 수 있도록 추가 학습을 했다.
구체적으로는 쿠모토라쿠 위주로 다른 트럭에 살짝 합류해 훈련하는 방식이다.
솔직히 그 외에도 시행착오가 반복되기 때문에 어떤 효과가 있는지 모르는 부분도 있다.

2. 훈련과 경기(가상회로) 트럭의 차이

트레이닝 트럭보다 코스 운행이 쉬워 트레이닝 트럭이 거의 운행하지 못하더라도 경주용 트랙으로 완주할 수 있는 경우도 있다.
리더보드의 이valuation을 보고 총 5차례 경기를 뛰었고, 쿠모 토라쿠는 한 번만 뛰면 돼 기적의 일주일에 쉽게 의지할 수 있었다.
(※ 5월 론돈루프는 완주 기록을 3회 이상 달성해야 합니다.)
그리고 훈련된 트럭의 완성률이 높고 속도가 빠른 모델은 할 수 있지만 그 가상 회로 노선은 한 번도 완주할 수 없다.
지나치게 특수화된 훈련 트럭에 주의할 필요가 있을지도 모른다.

최후

이달 가상 경기가 시작될 때는 각자 과제가 있었지만, 이번 트럭이 어려운 것은 공통의 과제였고, 학습회 외에도 직장과 부서의 벽을 넘어 적극적으로 교류하며 논의를 깊게 할 기회가 있었다.
나는 엔지니어들이 서로 존중하고 모르는 것을 물어보며 아는 것을 알려주는 것도 좋다고 생각한다.
Congratulations! Fumiaki!