【쇼기 AI】 「쇼기 AI에서 배우는 딥 러닝」을 읽는다♪～자전 모델로 컴퓨터 장기 선수권 해 보았다

제 16 밤은 어떤 의미를 정리하기 위해 여기까지 작성한 장기 AI 중 어느 것이 강한지 총칭전을 해 보았다.
【중요】 분명히 Resnet의 PG에 버그가 있었던 것 같습니다. 그래서 본 기사는 참고 정도로 읽어주세요. 깊은 네트워크 모델에 대한 다른 기사 로 할 예정입니다.

했던 일

(1)쇼기 AI의 loss와 일치율(방책, 가치)
(2) 총당전의 결과

(1)쇼기 AI의 loss와 일치율(방책, 가치)

각 네트워크 모델은 이름에서 연결됩니다.
아래의 수렴성을 보면 수렴성은 엉망입니다. 그리고 일치율의 좋은 점에서 Resnet의 No.Batch Normalization의 것이 매우 좋고 기대가 있습니다.
또, 다른 것은 몬테카를로목 탐색을 사용하고 있습니다만, Policy만은 방책 네트워크가 좋다고 하는 손을 그대로 선택하고 있어 어느 의미 순수하게 DeepLearning을 사용하고 있다고 말할 수 있는 것입니다.


이름
loss
일치율(방책)
일치율(가치)
비고


policy
1.682677
0.4226734
-
정책 네트워크 전용

Policy_Value; Layer13
2.016
0.4204578
0.67033803
13층의 방책·가치 네트워크로 MCTS

Policy_Value; Layer23
2.1938
0.41157416
0.6601796
23층 MCTS

Resnet5
1.844657
0.4195995
0.6717752
Resnet5block12층

Resnet10
1.818387
0.40154335
0.6761505
Resnet10block22층

ResnetL4
2.1583886
0.39926776
0.6727783
1Block 4층의 Resnet을 5block; 22층

ResnetNoBN
1.80566
0.4327175
0.68042606
Resnet5block12층이지만 BatchNormalization 없음

(2) 총당전의 결과

대체로의 힘 지표로서 LesserKai를 참가시켜 보았습니다.

승패는 다음과 같이 순위가 나왔습니다.
어쨌든 위의 일치율이나 Loss의 값이 맞지 않는 것을 알 수 있습니다.
※이것은 매우 중요한 일이라고 생각합니다만, 내용은 알 수 없습니다

각 대전의 결과는 다음과 같습니다.


----------
L13
L23
policy
LKai
R5
R10
RL4
RNoBN
Win
Draw
Loss
Pt


L13
-
2
1
2
2
2
2
2
13
0
1
13

L23
0
-
1
2
2
2
2
2
11
0
3
11

policy
1
1
-
2
1
1
2
2
10
0
4
10

LKai
0
0
0
-
2
2
2
2
8
0
6
8

R5
0
0
1
0
-
2
2
2
7
0
7
7

R10
0
0
1
0
0
-
1
2
4
0
10
4

RL4
0
0
0
0
0
1
-
0.5
1
1
12
1.5

RNoBN
0
0
0
0
0
0
1.5
-
1
1
12
1.5


여기서 LKai라고 하는 것이 장기소에 부속되어 있는 LesserKai로 레이팅은 713이 되고 있습니다. 어떤 의미 이것을 이기고 처음으로 장기답게 된다고 말할 수 있습니다.
이번에 가장 기뻤던 것은 Policy가 LesserKai보다 위로 와서, 게다가 모든 Network 모델과 호각 이상으로, 지지 않았던 것입니다.
※최종 목표는 이 방책 네트워크에 의한 모델이 제일 강해지는 것입니다

승패의 특징으로는 딥이나 Resnet의 성적이 나쁘다는 것입니다. 이것은 기보를 충분히 배우지 못했기 때문일지도 모릅니다. 좀 더 학습을 진행해 나가면 진위를 알 수 있다고 생각합니다.
※어딘가의 단계에서 강화 학습을 할 필요가 있다고 생각합니다

요약

・자전 모델로 컴퓨터 장기 선수권을 해 보았다
・방책 네트워크의 Policy가 의외로 좋은 결과를 냈다
・딥도 Resnet도 그다지 좋은 결과가 나오지 않았다
· 원래 일치율이나 Loss의 값이 강도의 지표 값이 아닙니다.

· 궁극적인 목표는 이 정책 네트워크의 모델이 가장 강해지는 것입니다.
· 강화 학습을 해 보자.