第2回世界将棋AI電竜戦の大会後に、優勝したGCT電竜と準優勝したdlshogiで互角局面集を使用して勝率を測定した。
dlshogi互角局面集 5分2秒加算
dlshogi互角局面集を使用して、5分2秒加算で対局した結果は以下の通り。
dlshogiとGCTは、2GPU、GPUあたり3スレッド。水匠4改は30スレッド。
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 dlshogi : 116.3 15.5 720.0 991 73 100 666 108 217 11 2 suisho4kai-30th : -24.5 14.4 447.0 988 45 100 377 140 471 14 3 gct : -91.8 14.8 318.0 991 32 --- 266 104 621 10 White advantage = 38.78 +/- 9.28 Draw rate (equal opponents) = 13.16 % +/- 0.89
互角局面集では、dlshogiの方がR+208.1だけ強い。
dlshogi互角局面集 5分2秒加算 スレッド数調整
大会では、dlshogiはGPUあたり4スレッド、GCTは5スレッドだったので、大会の条件に合わせた。
これは、NPSが最大となるようにモデルサイズに合わせたスレッド数になっている。
dlshogiとGCTは、GPUは4GPU。水匠4改は64スレッド。
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 dlshogi_th4 : 86.1 22.6 261.5 387 68 100 237 49 101 13 2 suisho4kai-64th : -21.4 22.1 174.5 383 46 99 146 57 180 15 3 gct_th5 : -64.7 22.3 141.0 384 37 --- 116 50 218 13 White advantage = 8.48 +/- 14.35 Draw rate (equal opponents) = 14.30 % +/- 1.46
GPU数を4にして、スレッド数を大会と合わせると、差が小さくなり、dlshogiがR+150.8になった。
dlshogi互角局面集 10分2秒加算
大会と同じ持ち時間で測定した。
dlshogiとGCTは、GPUは4GPU(GPUあたりのスレッド数はそれぞれ4と5)。水匠5は64スレッド。
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 dlshogi_th4 : 72.9 29.7 144.0 222 65 100 129 30 63 14 2 suisho5-64th : -2.2 29.0 109.0 220 50 100 90 38 92 17 3 gct_th5 : -70.6 30.0 79.0 222 36 --- 64 30 128 14 White advantage = 37.89 +/- 18.38 Draw rate (equal opponents) = 15.59 % +/- 2.08
持ち時間が長くなると、差が小さくなり、dlshogiがR+143.5になった。
この結果を見ると、dlshogiの方が互角局面集では強いと言える。
dlshogiもGCTも、大会では定跡で相掛かりにしていたので、戦型別に見ると、勝率が変わる可能性があるため、調べた。
戦型別の初期局面集は、Ryfamateの駒の書体さんから提供いただいたものを使用した。
相掛かり初期局面集 10分2秒加算
dlshogiとGCTは、GPUは4GPU(GPUあたりのスレッド数はそれぞれ4と5)。水匠5は64スレッド。
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 dlshogi-4th_agr : 108.8 33.9 146.5 207 71 100 139 15 53 7 2 suisho5-64th_agr : -43.8 33.2 85.0 204 42 77 71 28 105 14 3 gct-5th_agr : -65.0 31.8 77.5 207 37 --- 69 17 121 8 White advantage = 85.06 +/- 20.42 Draw rate (equal opponents) = 10.77 % +/- 1.99
相掛かりでは、dlshogiがR+173.8になった。
角換わり初期局面集 10分2秒加算
dlshogiとGCTは、GPUは4GPU(GPUあたりのスレッド数はそれぞれ4と5)。水匠5は64スレッド。
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 dlshogi-4th_kgr : 103.5 33.0 145.5 207 70 100 136 19 52 9 2 suisho5-64th_kgr : -23.9 32.4 92.5 204 45 98 78 29 97 14 3 gct-5th_kgr : -79.6 31.7 71.0 207 34 --- 60 22 125 11 White advantage = 59.48 +/- 20.26 Draw rate (equal opponents) = 12.41 % +/- 2.04
角換わりでは、dlshogiがR+183.1になった。
角換わりの方が差が付きやすいようだ。
先手のアドバンテージ(White advantage)は、相掛かりの方が高い。
引き分け率(千日手 or 320手)は、角換わりの方が高い。
矢倉初期局面集 10分2秒加算
dlshogiとGCTは、GPUは4GPU(GPUあたりのスレッド数はそれぞれ4と5)。水匠5は64スレッド。
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 dlshogi-4th_ygr : 77.8 29.7 142.0 216 66 100 121 42 53 19 2 suisho5-64th_ygr : -12.3 28.2 101.5 214 47 98 76 51 87 24 3 gct-5th_ygr : -65.6 29.6 78.5 214 37 --- 58 41 115 19 White advantage = 46.31 +/- 18.29 Draw rate (equal opponents) = 22.16 % +/- 2.35
矢倉では、dlshogiがR+143.4になった。
矢倉では差が付きにくくなるようだ。
先手のアドバンテージ(White advantage)は、相掛かり、角換わりよりも低い。
引き分け率(千日手 or 320手)は、矢倉が一番高い。
まとめ
第1回世界将棋AI電竜戦では、大会後の測定ではGCTのモデルが明らかに強かったが、今大会ではこの測定結果を見る限り、dlshogiの方が強いようだ。
大会は、定跡に依存することと、各ソフトと1回だけの対局なので運もあるのと、dlshogiは追加学習の元のモデルを公開していたので狙い撃ちされたという要素もあったかもしれない。
おまけ
ソフトごとの勝率
相掛かり初期局面集
dlshogi-4th_agr vs gct-5th_agr: 78-25-2 (75.2%) Black vs White: 67-36-2 (64.8%) dlshogi-4th_agr playing Black: 47-5-1 (89.6%) dlshogi-4th_agr playing White: 31-20-1 (60.6%) gct-5th_agr playing Black: 20-31-1 (39.4%) gct-5th_agr playing White: 5-47-1 (10.4%) dlshogi-4th_agr vs suisho5-64th_agr: 61-28-13 (66.2%) Black vs White: 54-35-13 (59.3%) dlshogi-4th_agr playing Black: 35-9-7 (75.5%) dlshogi-4th_agr playing White: 26-19-6 (56.9%) suisho5-64th_agr playing Black: 19-26-6 (43.1%) suisho5-64th_agr playing White: 9-35-7 (24.5%) gct-5th_agr vs suisho5-64th_agr: 44-43-15 (50.5%) Black vs White: 51-36-15 (57.4%) gct-5th_agr playing Black: 26-18-7 (57.8%) gct-5th_agr playing White: 18-25-8 (43.1%) suisho5-64th_agr playing Black: 25-18-8 (56.9%) suisho5-64th_agr playing White: 18-26-7 (42.2%)
角換わり初期局面集
dlshogi-4th_kgr vs gct-5th_kgr: 80-19-6 (79.0%) Black vs White: 57-42-6 (57.1%) dlshogi-4th_kgr playing Black: 45-7-1 (85.8%) dlshogi-4th_kgr playing White: 35-12-5 (72.1%) gct-5th_kgr playing Black: 12-35-5 (27.9%) gct-5th_kgr playing White: 7-45-1 (14.2%) dlshogi-4th_kgr vs suisho5-64th_kgr: 56-33-13 (61.3%) Black vs White: 53-36-13 (58.3%) dlshogi-4th_kgr playing Black: 33-13-5 (69.6%) dlshogi-4th_kgr playing White: 23-20-8 (52.9%) suisho5-64th_kgr playing Black: 20-23-8 (47.1%) suisho5-64th_kgr playing White: 13-33-5 (30.4%) gct-5th_kgr vs suisho5-64th_kgr: 41-45-16 (48.0%) Black vs White: 50-36-16 (56.9%) gct-5th_kgr playing Black: 24-19-8 (54.9%) gct-5th_kgr playing White: 17-26-8 (41.2%) suisho5-64th_kgr playing Black: 26-17-8 (58.8%) suisho5-64th_kgr playing White: 19-24-8 (45.1%)
矢倉初期局面集
dlshogi-4th_ygr vs gct-5th_ygr: 70-22-16 (72.2%) Black vs White: 53-39-16 (56.5%) dlshogi-4th_ygr playing Black: 38-7-9 (78.7%) dlshogi-4th_ygr playing White: 32-15-7 (65.7%) gct-5th_ygr playing Black: 15-32-7 (34.3%) gct-5th_ygr playing White: 7-38-9 (21.3%) dlshogi-4th_ygr vs suisho5-64th_ygr: 51-31-26 (59.3%) Black vs White: 48-34-26 (56.5%) dlshogi-4th_ygr playing Black: 28-11-15 (65.7%) dlshogi-4th_ygr playing White: 23-20-11 (52.8%) suisho5-64th_ygr playing Black: 20-23-11 (47.2%) suisho5-64th_ygr playing White: 11-28-15 (34.3%) gct-5th_ygr vs suisho5-64th_ygr: 36-45-25 (45.8%) Black vs White: 46-35-25 (55.2%) gct-5th_ygr playing Black: 20-19-14 (50.9%) gct-5th_ygr playing White: 16-26-11 (40.6%) suisho5-64th_ygr playing Black: 26-16-11 (59.4%) suisho5-64th_ygr playing White: 19-20-14 (49.1%)
