プログラムの修正やモデルを学習した後の強さの計測に変更前後の自己対戦のみだと、系統が違うソフトに対して強くなっていないことがあるため、基準となるソフトを加えたリーグ戦で確認を行っている。
連続対局には、cshogiを使用して、PGNファイルを出力して、Ordoでeloレーティングを計算している。
今までcshogiは2つのソフトの連続対局しか対応していなかったため、マシンやプロセスを分けて実行していた。
スペックが同じでもマシンや使用するGPUが変わると、誤差の原因になるため、3つのソフトを指定してリーグ戦で対局できるようにした。
リーグ戦を並列で実行すれば、同じハードを均等に使うので、誤差が出にくい。
また、各ソフトの対局数が同じになるので、途中経過を確認しやすい。
cshogiの使い方についてあまりドキュメントを書いていないので、使い方を書いておく。
cshogiのインストール
pip install cshogi
アップデートの場合は、
pip install cshogi -U
連続対局の実行方法
コマンド例
python -u -m cshogi.cli /work/DeepLearningShogi/usi/bin/usi /work/DeepLearningShogi/usi/bin/usi /work/YaneuraOu/bin/YaneuraOu-by-gcc --name1 model1 --name2 model2 --options1 Draw_Ply:320,OwnBook:false,PV_Interval:0,DNN_Model:/work/model/model1.onnx,UCT_Threads:2 --options2 Draw_Ply:320,OwnBook:false,PV_Interval:0,DNN_Model:/work/model/model2.onnx,UCT_Threads:2 --options3 USI_Hash:2048,Threads:2,PvInterval:9999,NetworkDelay:0,NetworkDelay2:0,ResignValue:10000,MaxMovesToDraw:320 --opening /work/taya36.sfen --draw 320 --time 180000 --inc 1000 1000 1500 --games 128 --pgn model1_vs_model2_time180inc1-01.pgn > log_model1_vs_model2_time180inc1-01.txt &
エンジンは、位置引数に2つもしくは3つ指定できる。
2つの場合は1対1で先後入れ替えて連続対局を行い、3つの場合はリーグ戦になる。
リーグ戦は、先後入れ替えて1局ずつを3ソフト全組み合わせに対し行うことを繰り返す。
同一ソフトで、パラメータのみ変える場合は名前が被るため「--name1 」などで名前を上書きする。「1」の部分が引数の1番目のエンジンであることを示している。
USIオプションは、「--options1」などで指定する。
「--opening」で開始局面集を指定する。
デフォルトでランダムでサンプリングするが、「--opening-seed 0」のようにシードを固定できる。
「--opening-moves」で開始局面集の何手目から開始するか指定できる。
「--draw」で引き分けとする手数を指定できる。
「--time」と「--inc」で、持ち時間と1手加算時間をミリ秒単位で指定する。
エンジンごとに値を分ける場合は、エンジンの数だけ複数指定する。
秒読みの場合は「--byoyomi」で秒読み時間をミリ秒単位で指定する。
こちらも複数指定することでエンジンごとに値を分けることができる。
「--resign」で投了の閾値を設定できる。例）--resign 3000
「--mate_win」を指定すると、手番側の詰みを見つけた時点で終了する（手番側の詰みの探索を信用する）。
「--games」で対局数を指定する。
「--pgn」でPNGの出力パスを指定する。
「--csa」を指定すると、指定したフォルダにCSAファイルを出力する。
「--multi_csa」を指定すると複数対局を1ファイルに出力する。
「--keep_process」を指定すると、1局ごとにエンジンのプロセスを終了しない（リーグ戦の場合は、先後入れ替えのタイミングのみ）。
「--debug」を指定すると、USIコマンドとその応答をすべて標準出力に出力する。
対局の結果は、標準出力に出力される。
ファイルに出力したい場合は、リダイレクトする。
リダイレクトすると、バッファリングされるため、pythonのオプションに「-u」を付けると良い。
eloレーティングの計算
PGNファイルをOrdoに渡すことでeloレーティングが計算できる。
Ordoの実行例
ordo-win64.exe -Q -D -a 0 -W -n8 -s1000 -U "0,1,2,3,4,5,6,7,8,9,10" -p model1_vs_model2_time180inc1-01.pgn
複数プロセスで並列実行した場合は、複数PGNファイルを入力できる。
ordo-win64.exe -Q -D -a 0 -W -n8 -s1000 -U "0,1,2,3,4,5,6,7,8,9,10" -p model1_vs_model2_time180inc1-01.pgn -- model1_vs_model2_time180inc1-02.pgn model1_vs_model2_time180inc1-03.pgn
以下のように表示される。
0 10 20 30 40 50 60 70 80 90 100 (%) |----|----|----|----|----|----|----|----|----|----| *************************************************** # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 model_gct_010_opt : 31.3 31.7 116.0 205 57 77 110 12 83 6 2 model-0000195 : 10.5 32.0 107.0 205 52 97 100 14 91 7 3 YaneuraOu NNUE 6.00 64AVX2 : -41.8 31.3 84.0 204 41 --- 80 8 116 4 White advantage = 11.75 +/- 19.12 Draw rate (equal opponents) = 5.61 % +/- 1.32
レーティングの誤差と、どれくらいの確かさで強いかを表すCFS(%)も表示されるため、有意差があるか確認できる。
