floodgateも含めたレート比較

March 16, 2018

前回、floodgateとのレートを比較を行いましたが、その後技巧2のDepth 5,7,9,11,13, 15をfloodgateに集中的に参入された方がおられ、(おそらく私と同様な趣旨の調査のため行なわれたのだと推測しています)、floodgateとの対応がより正確に見えるようになりました。他の方が行なわれている調査のデータを使って考察を書くことは僭越ですが、私から見ると大変興味深いデータですので、フィードバックしていただければ良いと考え、まとめておくことにいたします。

 各Depthの技巧2を200局程度floodgateに参加させられて得られたレートは現在(3月17日)以下のようになっています。私のサイトのレートと、将棋倶楽部24での予想レートのデータも入れています。

 

ここでFGは通常のFloodgateレーティング、FG2wは2週間レート、uuunは私のサイトのレート、24Rは将棋倶楽部24における予想レートです。今回は6種類のソフトの比較ですので、かなり細かい情報を得ることができました。uuunを横軸、FGとFG2wを縦軸としたグラフを作ると以下のようになります。

 ここで青い点と点線は通常のFGレート、オレンジ色の点と点線は2週間レートです。いくつか気がついたことをまとめると

  • 2週間レートと通常のレートに大きな食い違いがある。

  • 2週間レートの方は私のサイトのレートとの比較グラフの比例係数がほぼ1になっている。これは、Eloレーティング間の比較では当然のことですが24やfloodgateの通常レートでは比例係数は1になっていなかった(24では1.4、FGでは0.66)。

以下、考察です。まず、通常レートと2週間レートの食い違いはfloodgateに常駐しているcoduck_pi2_600MHz_1cの影響が大きいと思われます。通常レートにおけるcoduckの対局数は2800局弱。gikou2のdepth 5はこのソフトより少し強い程度、一方depth 15はfloodgateの基準ソフトになっているgikou2_1cよりやや弱い。レーティングは対局数が多いソフトを基準にして決まっていくので、gikou2_1cとcoduckのレートがある程度決まった環境下ではその2つのレートを等分に分けるようなレート分布になります。一方で2週間レートの方はcoduckの対局数も400未満で投入されているgikou2の対局数とあまり変わらず、全体として整合的なレートに落ち着いていく。結果的に各gikou2のレート差がそのままfloodgateのレート差に反映される。私の測定環境は後者のものとほぼ同じなのでレートの比例係数が1に収束していると思われます。

 

2週間レートでは比例係数が1になりますがグラフ中の数式を見ていただくと500程度(488.3)のレート差があります。これは技巧2のレートが私のサイトではR3800弱、floodgateでは3300であることを反映していると思われます。私のサイトでの計測条件は一手五秒4スレッド、floodgateは1スレッドで持ち時間5分+一手10秒のフィッシャークロックルール、スレッド数が少ない分持ち時間が長いので一手あたりのノード数は同じくらいではないでしょうか。

 

この結果を用いると、私のサイトでR4200のソフトを一手五秒4スレでfloodgateに参入させるとR3700強になり、floodgateの持ち時間で参入させるとR4000弱、ハイエンドのCPUを用いるとR4300位で今の最高レートに近づくという勘定になりそうです。

 

ただし、これは今回のような理想的な測定環境がfloodgate側で整えられている(R200~300おきに常駐ソフトが存在している)ことが必要であり、そのような努力を行なわない場合には前回の調査のようにレートが圧縮されて、想定よりも大分低くなると思われます。floodgateで正確なレートを測るためには測りたいソフトだけでなく、中間的な強さのソフトも同時に投入する必要があるのですね。

Please reload

特集記事

以前より、私のツィートや記事にコメントをいただいている、コンピュータ将棋に大変詳しい方(まふさんと名乗られています)が、技巧の定跡の開発を始められました。定跡を作るためのデータとして私がレーティング計測用に作った棋譜ファイルを使っていただいているという縁もあり、新定跡のテストを私が担当することになり...

技巧新定跡(まふ定跡)

December 8, 2016

1/10
Please reload

最新記事

September 30, 2018

Please reload

アーカイブ