後々のためにデータを整理しておきたいので、dlshogiとGCTの各種統計情報を調べた。
探索の統計
NPS、思考時間、探索ノード数、探索深さ、詰み手数の統計は以下の通り。
dlshogi 1日目 予選リーグ
| nps | time | nodes | depth | mate | |
|---|---|---|---|---|---|
| count | 940 | 940 | 940 | 940 | 58 |
| mean | 269585 | 8023 | 2221869 | 40 | 13 |
| std | 63486 | 9466 | 2761912 | 27 | 9 |
| min | 166072 | 239 | 62769 | 1 | 1 |
| 25% | 230216 | 2830 | 658847 | 17 | 7 |
| 50% | 263775 | 4154 | 1074273 | 33 | 13 |
| 75% | 300014 | 10327 | 2918621 | 61 | 19 |
| max | 692304 | 73763 | 21028891 | 126 | 33 |
GCT 1日目 予選リーグ
| nps | time | nodes | depth | mate | |
|---|---|---|---|---|---|
| count | 737 | 737 | 737 | 737 | 19 |
| mean | 300726 | 8572 | 2547911 | 42 | 9 |
| std | 77926 | 9919 | 2969933 | 24 | 8 |
| min | 185368 | 254 | 77696 | 1 | 1 |
| 25% | 264242 | 2911 | 756212 | 22 | 3 |
| 50% | 287468 | 4154 | 1213490 | 38 | 7 |
| 75% | 309234 | 10970 | 3320838 | 60 | 13 |
| max | 695827 | 60165 | 18715763 | 105 | 27 |
dlshogi 2日目 A級リーグ
| nps | time | nodes | depth | mate | |
|---|---|---|---|---|---|
| count | 1385 | 1385 | 1385 | 1385 | 84 |
| mean | 261134 | 8970 | 2391951 | 44 | 12 |
| std | 63373 | 10838 | 2954076 | 26 | 9 |
| min | 160017 | 233 | 46848 | 1 | 1 |
| 25% | 227114 | 2977 | 703544 | 21 | 5 |
| 50% | 252963 | 4539 | 1226180 | 43 | 11 |
| 75% | 280947 | 10968 | 2953314 | 63 | 19 |
| max | 1087192 | 90986 | 26410877 | 147 | 35 |
GCT 2日目 A級リーグ
| nps | time | nodes | depth | mate | |
|---|---|---|---|---|---|
| count | 1510 | 1510 | 1510 | 1510 | 65 |
| mean | 286066 | 8370 | 2391778 | 41 | 11 |
| std | 57541 | 9823 | 2800752 | 23 | 9 |
| min | 159653 | 235 | 67044 | 1 | 1 |
| 25% | 257192 | 2756 | 737388 | 21 | 3 |
| 50% | 280781 | 4382 | 1301523 | 41 | 9 |
| 75% | 303641 | 11161 | 3145888 | 60 | 17 |
| max | 882842 | 89015 | 25364783 | 105 | 33 |
考察
dlshogiは15ブロックのモデルでGPUごとに4スレッド、GCTは10ブロックのモデルでGPUごとに5スレッドで動作している。
A級リーグのdlshogiとGCTのNPSの中央値(50%)※を比較すると、約25万と28万である。
※NPSは、局面によりばらつきが大きいため、中央値で比較するのが良い。
NPSの差は1.1倍程度である。
A100では、15ブロックのモデルと10ブロックのモデルでそれほど差がでないことが分かる。
大会では他の要因もあるためGCTが優勝したが、15ブロックの方が精度が高くできるため、A100では15ブロックが有利なはずである。
探索の深さは、dlshogiとGCTで同じくらいである。
モデルごとの探索パラメータの調整がうまくいっていることを示している。
最大の深さは147で、ディープラーニング系将棋AIは、選択的にかなり深くまで読むことが分かる。
定跡
定跡がヒットした手数、定跡を抜けたときの評価値(定跡に記録されている値)を、手番考慮なし、および手番ごとで集計した。
dlshogi 1日目 予選リーグ
| moves | cp | |||||
|---|---|---|---|---|---|---|
| both | black | white | both | black | white | |
| count | 10 | 5 | 5 | 10 | 5 | 5 |
| mean | 13 | 8 | 18 | 63 | 190 | -65 |
| std | 7 | 6 | 5 | 159 | 122 | 38 |
| min | 4 | 4 | 11 | -101 | 93 | -101 |
| 25% | 7 | 4 | 18 | -59 | 107 | -99 |
| 50% | 15 | 6 | 18 | 43 | 162 | -60 |
| 75% | 18 | 10 | 19 | 148 | 194 | -57 |
| max | 25 | 18 | 25 | 395 | 395 | -7 |
GCT 1日目 予選リーグ
| moves | cp | |||||
|---|---|---|---|---|---|---|
| both | black | white | both | black | white | |
| count | 9 | 4 | 5 | 9 | 4 | 5 |
| mean | 9 | 11 | 7 | 0 | 0 | 0 |
| std | 5 | 6 | 4 | 0 | 0 | 0 |
| min | 4 | 6 | 4 | 0 | 0 | 0 |
| 25% | 6 | 8 | 4 | 0 | 0 | 0 |
| 50% | 9 | 10 | 7 | 0 | 0 | 0 |
| 75% | 11 | 13 | 11 | 0 | 0 | 0 |
| max | 19 | 19 | 11 | 0 | 0 | 0 |
dlshogi 2日目 A級リーグ
| moves | cp | |||||
|---|---|---|---|---|---|---|
| both | black | white | both | black | white | |
| count | 18 | 9 | 9 | 18 | 9 | 9 |
| mean | 14 | 16 | 13 | 50 | 154 | -55 |
| std | 6 | 6 | 7 | 118 | 46 | 51 |
| min | 7 | 7 | 7 | -120 | 93 | -120 |
| 25% | 9 | 11 | 9 | -59 | 122 | -80 |
| 50% | 14 | 18 | 10 | 71 | 165 | -60 |
| 75% | 18 | 18 | 18 | 159 | 184 | -23 |
| max | 26 | 24 | 26 | 214 | 214 | 49 |
GCT 2日目 A級リーグ
| moves | cp | |||||
|---|---|---|---|---|---|---|
| both | black | white | both | black | white | |
| count | 18 | 9 | 9 | 18 | 9 | 9 |
| mean | 10 | 11 | 9 | -31 | 22 | -84 |
| std | 5 | 5 | 4 | 86 | 45 | 86 |
| min | 3 | 4 | 3 | -251 | 0 | -251 |
| 25% | 8 | 8 | 7 | -56 | 0 | -141 |
| 50% | 10 | 9 | 10 | 0 | 0 | -60 |
| 75% | 12 | 12 | 12 | 0 | 0 | 0 |
| max | 21 | 21 | 15 | 127 | 127 | 0 |
考察
A級リーグの定跡がヒットした手数は、dlshogiが平均14、最大26で、GCTが平均10、最大21で、dlshogiの方が長く定跡を持っていたことが分かる。
定跡を抜けたときの評価値は、dlshogiが平均50、GCTが平均-31である。
ただし、GCTの定跡は評価値を0で記録している局面が含まれるため比較はできない。
先手、後手を分けてみると、dlshogiもGCTも先手では一度もマイナスになっていない。
後手は、dlshogiは最小で-120、GCTは-251である。
GCTの定跡には後手番でかなり不利になる手順が含まれていたようである。
まとめ
データを整理しておくと後々比較する際に役に立つので統計情報を整理した。
自分以外には退屈なデータだったかもしれない。
大会のモデルで勝率計測を行っているので、別途記事にする予定。
