前回は、入玉宣言に関する入力特徴量を追加して、入玉宣言した棋譜に対する評価精度が向上することを確認した。
今回は、入力特徴量の宣言までの残り点数を前回10点未満にしたところを、20点未満にした場合で比較した。
また、入力特徴量を増やしたことでNPSがどれくらい低下するか、互角局面から対局した場合の強さについて比較した。
残り点数
前回の入力特徴量は以下の通り。
入玉特徴量：
- 入玉しているか
- 敵陣の玉を除く枚数(10枚までの残り枚数。9枚以下をワンホットで与える。)
- 残り点数(先手は28点、後手は27点までの残り点数。9点以下をワンホットで与える。)
残り点数を、9点以下をワンホットで与えていたが、今回は、19点以下を与えるように変更した。
精度
残り点数を増やした場合の精度は以下の通り。
NPS
floodgateの棋譜からサンプリングした100局面でA100で1秒探索した際のNPS(4回測定)は以下の通り。
| 入玉特徴量なし | 残り点数10点未満 | 残り点数20点未満 | |
|---|---|---|---|
| 平均値 | 45485 | 45058 | 45003 |
| 中央値 | 47950 | 47449 | 47468 |
| 最大値 | 49150 | 48682 | 48676 |
| 最小値 | 25530 | 24493 | 25058 |
平均値は、入力特徴量なしのResNetと比較して、残り点数10点未満、残り点数20点未満はそれぞれ、99.06%、98.94%に低下している。
低下の割合は小さい。
ワンホットの特徴量は、値が0の特徴量が多くなるため、TensorRTがうまく計算を省略してくれることで影響が小さくなっていると考える。
また、ワンホットの特徴量は、1ビットにしてGPUに転送しているので、特徴量が増えてもほとんど影響を受けない。
強さ
入力特徴量なし(resnet)、残り点数10点未満(nyugyoku10)、残り点数20点未満(nyugyoku20)で、互角局面からリーグ戦で持ち時間3分1手2秒加算で連続対局した結果は以下の通り。
# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 resnet : 20.4 18.1 326.0 600 54 87 297 58 245 10 2 nyugyoku20 : 2.7 17.8 303.5 600 51 95 279 49 272 8 3 nyugyoku10 : -23.1 18.2 270.5 600 45 --- 244 53 303 9 White advantage = 20.43 +/- 10.98 Draw rate (equal opponents) = 8.94 % +/- 0.98
入力特徴量なしが最も強い(信頼度 87%)という結果になった。
残り点数は、20点未満の方が強いという結果になった。
各モデルがどれくらい入玉宣言勝ちしているか確認したところ、入玉宣言勝ちは1局もなかった。
今回の測定では入玉宣言の精度は測定できていなかった。
対局相手にNNUE系も含めて測定してみたい。
