第32回世界コンピュータ将棋選手権で優勝したdlshogi with HEROZが、第2回世界将棋AI電竜戦エキシビジョンバージョン(公開しているモデル)からどれくらい強くなっているかちゃんと測定していなかったので、測定した。
測定条件
- dlshogiは2スレッド、1GPU(A100)
- 水匠5は32スレッド
- dlshogiは秒読み10秒、水匠5は15秒
上記測定条件で、初期局面なしで平手からランダムプレイありの場合と、10手目互角局面集を使った場合の2パターン測定した。
ランダムプレイありの場合、24手まで評価値2%範囲(1手ごと0.1%範囲縮小)でランダムで指し手を選択する。
10手目互角局面集は、dlshogiの評価値が最善手から5%の範囲+振り飛車定跡を調べて、dlshogiの1千万ノード探索で評価値150未満の局面を抽出している。
振り飛車の局面を含む、様々な戦型が含まれている。
測定結果
初期局面なし(平手から)
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 wcsc32 : 118.2 21.6 385.0 534 72 100 358 54 122 10 2 suisho5-32th : -53.8 20.6 214.0 534 40 73 185 58 291 11 3 dr2_exhi : -64.4 20.2 205.0 540 38 --- 179 52 309 10 White advantage = 93.10 +/- 12.42 Draw rate (equal opponents) = 11.50 % +/- 1.19
wcsc32が、第32回世界コンピュータ将棋選手権で優勝したdlshogi with HEROZ、dr2_exhiが第2回世界将棋AI電竜戦エキシビジョンバージョンである。
WCSC32版のdlshogiの方が、R+182.6だけ強い。
互角局面集
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 wcsc32 : 120.8 23.4 294.0 401 73 100 263 62 76 15 2 dr2_exhi : -23.0 22.0 183.0 403 45 100 147 72 184 18 3 suisho5-32th : -97.9 23.2 123.0 396 31 --- 92 62 242 16 White advantage = 36.00 +/- 14.18 Draw rate (equal opponents) = 18.41 % +/- 1.69
WCSC32版のdlshogiの方が、R+143.8だけ強い。
固定ノード
同じノード数探索した場合の、強さも比較した。
dlshogiは10万ノード探索、水匠5は4千万ノード探索した場合、平手からランダムプレイありで対局した結果は以下の通り。
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 wcsc32-nodes100k : 89.5 20.9 339.5 509 67 100 317 45 147 9 2 suisho5-nodes40m : -21.2 20.1 231.5 503 46 100 203 57 243 11 3 dr2_exhi-nodes100k : -68.3 20.9 191.0 512 37 --- 165 52 295 10 White advantage = 112.65 +/- 13.01 Draw rate (equal opponents) = 11.23 % +/- 1.24
WCSC32版のdlshogiの方が、R+157.8だけ強い。
NPSの比較
初期局面で10秒探索時のNPSは以下の通り。
| wcsc32 | 43990 |
| dr2_exhi | 57548 |
wcsc32のNPSは、dr2_exhi|のNPSの76.4%になる。
これは、wcsc32のモデルが20ブロック256フィルタというより大きなモデルを使用しているためである。
dr2_exhiの方は、15ブロック224フィルタである。
NPSは低下しているが、NPS向上による強さへの影響は、NPSが2倍になってもR+71.6程度である。
考察
WCSC32版のdlshogiのモデルは、公開しているdr2_exhi版より、R+144～R+183程度強くなっている。
モデルサイズが20ブロックになったことでNPSは低下しているが、第2回世界将棋AI電竜戦エキシビジョンマッチ以降に行った強化学習と、モデルを20ブロックにしたことによるモデルの精度向上が強さに寄与している。
なお、第2回世界将棋AI電竜戦エキシビジョンマッチから探索部も改善しているため、第2回世界将棋AI電竜戦エキシビジョンマッチ時点の探索部とモデルとの比較では、もっと差があるはずである。
今回の測定では、探索部はどちらも最新を使っている。
まとめ
最新のdlshogiが、公開しているモデルからどれくらい強くなっているかを測定した。
結果、R+144～R+183程度強くなっていることが確かめられた。
2022/6/28追記
ソフト間の勝率は以下の通り。
dr2_exhi vs wcsc32: 31-153-18 (19.8%) Black vs White: 107-77-18 (57.4%) dr2_exhi playing Black: 22-68-11 (27.2%) dr2_exhi playing White: 9-85-7 (12.4%) wcsc32 playing Black: 85-9-7 (87.6%) wcsc32 playing White: 68-22-11 (72.8%) dr2_exhi vs suisho5-32th: 103-77-22 (56.4%) Black vs White: 97-83-22 (53.5%) dr2_exhi playing Black: 51-31-19 (59.9%) dr2_exhi playing White: 52-46-3 (53.0%) suisho5-32th playing Black: 46-52-3 (47.0%) suisho5-32th playing White: 31-51-19 (40.1%) suisho5-32th vs wcsc32: 64-113-21 (37.6%) Black vs White: 128-49-21 (69.9%) suisho5-32th playing Black: 52-37-10 (57.6%) suisho5-32th playing White: 12-76-11 (17.7%) wcsc32 playing Black: 76-12-11 (82.3%) wcsc32 playing White: 37-52-10 (42.4%)
