TadaoYamaokaの開発日記

個人開発しているスマホアプリや将棋AIの開発ネタを中心に書いていきます。

dlshogiにおける思考時間と強さの関係 追試2

前回、dlshogiにおける思考時間と強さの関係を調べた。
今回は、水匠5の思考時間と強さの関係を調べた。

同一系統のソフト間では、レーティング差が大きくでるため、基準ソフトを思考時間1秒のdlshogiとした。

測定条件

水匠5は8スレッドで、思考時間4秒と32秒で比較した。
dlshogiは、V100x1GPU、2スレッド、思考時間1秒とした。
棋譜が重複しないように、dlshogi互角局面を使用した。

測定結果

   # PLAYER                          :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 suisho5-8th-byoyomi32000        :   142.8   29.6   258.0     350    74     100  246   24   80     7
   2 dlshogi-1gpu-2th-byoyomi1000    :   -38.1   18.1   301.0     702    43     100  280   42  380     6
   3 suisho5-8th-byoyomi4000         :  -104.7   28.0   143.0     352    41     ---  134   18  200     5

White advantage = 12.03 +/- 13.37
Draw rate (equal opponents) = 6.46 % +/- 0.98

思考時間を4秒から32秒に8倍にすることで、R+247.5になった。
思考時間2倍あたり、R+82.5である。

dlshogiの場合、思考時間を8倍にすると、R+214.8で、2倍あたりR+71.6だったので、測定条件も違うため一概に比較できないが、レーティングの伸び方はそれほど離れてはいないようである。

なお、水匠同士では、以下のようになる。

   # PLAYER                      :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 suisho5-8th-byoyomi32000    :   162.8   21.6   297.0     344    86     100  267   60   17    17
   2 suisho5-8th-byoyomi4000     :  -162.8   21.6    47.0     344    14     ---   17   60  267    17

White advantage = 34.84 +/- 22.00
Draw rate (equal opponents) = 31.07 % +/- 3.80

思考時間8倍で、R+325.6、2倍あたりR+108.5である。
やはり同系統だと大きな値が付く。

まとめ

floodgateでR4000以上のソフト同士の対局で、思考時間を2倍にするとレーティングがどれくらい上昇するか調べた。
結果、測定条件が一致していないため単純比較はできないが、dlshogiではR+71.6、水匠5では、R+82.5という結果になった。

思考時間2倍にした割には、意外と伸びは小さいようである。
つまり、ハードウェア性能が2倍になってもレーティングの伸びはこの程度になるということである。