持ち時間による勝率の変動

July 23, 2017

ソフトのレーティング計測でお世話になったtoshiさん(@snooze1mitsuya ‏)が持ち時間によって勝率がどのように変動するのか実験されました。他の方がやられたデータでブログを書くのも何なのですが、大変興味深いデータだと思いますので紹介させていただきます。

 

用いられたソフトはYaneuraou+野生の読み太v1.1 vs Yaneuraou+elmo-WCSC27で持ち時間はそれぞれ一手0.1秒、3秒、12秒になっています。toshiさんが使用されているPCのCPUはryzen 1700 (8スレッド)で一手3秒が私の環境での一手5秒に相当しています。

 

0.1秒

野生の読み太 234-2-173 elmo (R差52)

 

3秒

野生の読み太 222-13-174 elmo (R差41)

 

12秒

野生の読み太 212-6-191 elmo (R差17)

 

それぞれ約400局ですので統計誤差は1σが約17、0.1秒と3秒の差はほぼ統計誤差の範囲内、12秒は2σ程度のレート差があります。0.1秒と12秒の差が思いの外少ないのが印象的です。elmo絞りをすると長時間で強くなる傾向があるようなのですが、野生の読み太評価関数もelmo絞りなので、持ち時間による変動があまりないということなのかもしれません。一般に短時間と長時間でどのように勝率が変動するのかについては別に調べたほうが良いと思っています。

 

その後、他の組み合わせも測定されています。

 

yaselmo vs elmo

3秒

yaselmo 528 - 48 - 224 elmo (R差138)

 

1秒

yaselmo 513 - 37 - 250 elmo (R差118)

 

0.1秒 (uuun計測)

yaselmo 258 - 5 - 137 elmo (R差108)

 

8月5日

yaselmo vs 野生の読み太

3秒

yaselmo 494-49-277 (R差87)

 

上記の測定も入れると

野生読み太 <--  41 -->  elmo

yaselmo <--  87   -->  野生読み太

yaselmo <-- 118  --> elmo 

 

41+87=128なのでyaselmoとelmoの差は10。統計誤差の範囲で相性問題がない事がわかる。この持ち時間で相性問題の比較的統計制度の良い検証ができた例は初めて見ました。

 

Please reload

特集記事

以前より、私のツィートや記事にコメントをいただいている、コンピュータ将棋に大変詳しい方(まふさんと名乗られています)が、技巧の定跡の開発を始められました。定跡を作るためのデータとして私がレーティング計測用に作った棋譜ファイルを使っていただいているという縁もあり、新定跡のテストを私が担当することになり...

技巧新定跡(まふ定跡)

December 8, 2016

1/10
Please reload

最新記事

September 30, 2018

Please reload

アーカイブ