TadaoYamaokaの日記

山岡忠夫Homeで公開しているプログラムの開発ネタを中心に書いていきます。

第2回世界将棋AI 電竜戦 結果報告その2

後々のためにデータを整理しておきたいので、dlshogiとGCTの各種統計情報を調べた。

探索の統計

NPS、思考時間、探索ノード数、探索深さ、詰み手数の統計は以下の通り。

dlshogi 1日目 予選リーグ
nps time nodes depth mate
count 940 940 940 940 58
mean 269585 8023 2221869 40 13
std 63486 9466 2761912 27 9
min 166072 239 62769 1 1
25% 230216 2830 658847 17 7
50% 263775 4154 1074273 33 13
75% 300014 10327 2918621 61 19
max 692304 73763 21028891 126 33
GCT 1日目 予選リーグ
nps time nodes depth mate
count 737 737 737 737 19
mean 300726 8572 2547911 42 9
std 77926 9919 2969933 24 8
min 185368 254 77696 1 1
25% 264242 2911 756212 22 3
50% 287468 4154 1213490 38 7
75% 309234 10970 3320838 60 13
max 695827 60165 18715763 105 27
dlshogi 2日目 A級リーグ
nps time nodes depth mate
count 1385 1385 1385 1385 84
mean 261134 8970 2391951 44 12
std 63373 10838 2954076 26 9
min 160017 233 46848 1 1
25% 227114 2977 703544 21 5
50% 252963 4539 1226180 43 11
75% 280947 10968 2953314 63 19
max 1087192 90986 26410877 147 35
GCT 2日目 A級リーグ
nps time nodes depth mate
count 1510 1510 1510 1510 65
mean 286066 8370 2391778 41 11
std 57541 9823 2800752 23 9
min 159653 235 67044 1 1
25% 257192 2756 737388 21 3
50% 280781 4382 1301523 41 9
75% 303641 11161 3145888 60 17
max 882842 89015 25364783 105 33
考察

dlshogiは15ブロックのモデルでGPUごとに4スレッド、GCTは10ブロックのモデルでGPUごとに5スレッドで動作している。

A級リーグのdlshogiとGCTのNPSの中央値(50%)※を比較すると、約25万と28万である。
※NPSは、局面によりばらつきが大きいため、中央値で比較するのが良い。
NPSの差は1.1倍程度である。
A100では、15ブロックのモデルと10ブロックのモデルでそれほど差がでないことが分かる。
大会では他の要因もあるためGCTが優勝したが、15ブロックの方が精度が高くできるため、A100では15ブロックが有利なはずである。

探索の深さは、dlshogiとGCTで同じくらいである。
モデルごとの探索パラメータの調整がうまくいっていることを示している。
最大の深さは147で、ディープラーニング系将棋AIは、選択的にかなり深くまで読むことが分かる。

定跡

定跡がヒットした手数、定跡を抜けたときの評価値(定跡に記録されている値)を、手番考慮なし、および手番ごとで集計した。

dlshogi 1日目 予選リーグ
moves cp
both black white both black white
count 10 5 5 10 5 5
mean 13 8 18 63 190 -65
std 7 6 5 159 122 38
min 4 4 11 -101 93 -101
25% 7 4 18 -59 107 -99
50% 15 6 18 43 162 -60
75% 18 10 19 148 194 -57
max 25 18 25 395 395 -7
GCT 1日目 予選リーグ
moves cp
both black white both black white
count 9 4 5 9 4 5
mean 9 11 7 0 0 0
std 5 6 4 0 0 0
min 4 6 4 0 0 0
25% 6 8 4 0 0 0
50% 9 10 7 0 0 0
75% 11 13 11 0 0 0
max 19 19 11 0 0 0
dlshogi 2日目 A級リーグ
moves cp
both black white both black white
count 18 9 9 18 9 9
mean 14 16 13 50 154 -55
std 6 6 7 118 46 51
min 7 7 7 -120 93 -120
25% 9 11 9 -59 122 -80
50% 14 18 10 71 165 -60
75% 18 18 18 159 184 -23
max 26 24 26 214 214 49
GCT 2日目 A級リーグ
moves cp
both black white both black white
count 18 9 9 18 9 9
mean 10 11 9 -31 22 -84
std 5 5 4 86 45 86
min 3 4 3 -251 0 -251
25% 8 8 7 -56 0 -141
50% 10 9 10 0 0 -60
75% 12 12 12 0 0 0
max 21 21 15 127 127 0
考察

A級リーグの定跡がヒットした手数は、dlshogiが平均14、最大26で、GCTが平均10、最大21で、dlshogiの方が長く定跡を持っていたことが分かる。

定跡を抜けたときの評価値は、dlshogiが平均50、GCTが平均-31である。
ただし、GCTの定跡は評価値を0で記録している局面が含まれるため比較はできない。

先手、後手を分けてみると、dlshogiもGCTも先手では一度もマイナスになっていない。
後手は、dlshogiは最小で-120、GCTは-251である。
GCTの定跡には後手番でかなり不利になる手順が含まれていたようである。

まとめ

データを整理しておくと後々比較する際に役に立つので統計情報を整理した。
自分以外には退屈なデータだったかもしれない。

大会のモデルで勝率計測を行っているので、別途記事にする予定。