棋士レーティングとの比較メモ

このようなサイトをやっていて、つい知りたくなってしまうのはここで付けているソフトのレーティングが24やプロ棋士のレーティングとどのように対応しているのかです。これはやってはいけないことなのかもしれませんが、どうせ私はどちらの業界にも属していないので発言に信頼性も責任もないということでお気楽な評価をいたします。まだ、内容もあまりないのでとりあえずメモというステータスです。 コンピュータソフトと棋士との対局で有名なものとして、2007年3月に行われた渡辺明竜王とBonanzaの対局があります。(WikipediaのBonanzaの欄にある程度の記述がある。) Bonanza3.0のReadmeを見るとこの時対局したソフトはBonanza3.0相当のものだったらしいです。Wikipediaによるとこの時の対局で用いられたPCはCPU:Intel Xeon X5355 2.66GHz×8coresとなっています。公開されているBonanza3は私の測ったレートがR2227ですが、これはsingle thread専用なので8コアですとそれに相応してレートが上がるはずです。CPUの周波数が少ないこと、8コアにしても読む手の数は8倍にはならないことを考慮するとおおよそ4倍程度局面が読めたのではないかと大雑把に考えます。したがってこの効果を含めるとレーティングはR2530程度となり、私のレーティング表の中ではこれに相当するソフトはBonanza 4.1.3(4スレッド)になります。当時渡辺明竜王はBonanzaの強さについて奨励会3段程度と評価したらしいのですが、プロ棋士のレーティングでは奨励

lazy smpによるレート向上について(2)

以前のブログの記事でlazy smpにより実際対応しているソフトはCPUコア数以上のスレッド数に設定すると強くなるため、各ソフトについて4スレと8スレの両方でレーティングを計測し始めたことについて書きました。現在の段階でlazy smp対応ソフトについて各ソフトのレート差を取ると、多少の誤差はあれ、50~100程度のレート向上効果が見られます。今のところこれはそれぞれのソフトの8スレ版を4スレ版と独立に対局させることにより得られてきました。 lazy smpによりどの程度レートが上がるのかはNPSの向上率からほぼ見積もれるのではないかと考え始めました。以前、やねうら王開発者の磯崎氏がブログで<Bonanzaの場合思考時間が倍になるとレートが150程度上がる>と書かれていましたが、lazy smpによりNPSが1.5倍程度上がったとすると、それは思考時間が1.5倍になることを意味しているはずで、その分だけレートが上がるのではないかと思います。磯崎氏が書かれていることをNPS増加と結び付けて数式にすると (レートの変分)=500*Log_10(NPS 増加率) という公式になります。4割から6割NPSが向上する場合レートの向上はそれぞれ、 500*Log(1.4)=73, 500*Log(1.6)=102 となりますので、ちょっと多めではありますが今の各ソフトのレートの上昇をほぼ表しているように思われます。私の実感としては上位ソフトの場合は星の潰し合いによるレーティングの圧縮効果があるので、比例係数は400程度まで落ちていると考えるとおおよそ今出ている数字を説明しているように思われ

ソフトによる定跡選択とその調査法

技巧の自己対戦によるレーティング調査をやっていたところ、インターフェースとの相性により最初の10手くらいが同じになってしまうという現象に出くわしました。これでは、対局記録としてレーティング評価に使うのはどうかなと考え、ツィートや某掲示板でそのバグについて報告いたしました。その報告が効いたのかどうかは定かではありませんが、数日後、そのバグは新しいバージョンで作者の出村氏によりふさがれておりました。お忙しいとは思うのですがバグに直ちに対応していただいた出村氏に大変感謝しております。 さて、そのような出来事があったため、各ソフトが序盤でどのような定跡を選択いるのかしらべていたところ、最後まで時間をかけて対局させなくても簡単にチェックできることを思いつきました。知っておられる方も多くおられると思いますし、もっと簡単な方法もあると思うのですが、以下の通りです。将棋所やShogiGUIなどで一手0.1秒などの超短時間対戦、ただし、30~40手で引き分けになるように設定しておき、調べたいだけの対局数で反復対局させます。定跡の選択は確率の問題なので超短時間対戦で十分だと思いますし、また最初の数十手を調べるだけでどの戦型が選ばれているのかがわかるので最後までやらせる必要もありません。対局時間は全て引分けで終わるはずで数分で終わります。棋譜の確認をいちいち棋譜を開いて調べるのは面倒ですが、激指を使うとそのような機能があって、各戦型がどれくらい現れたか一瞬で調べてくれます。(ほかのソフトでも調べられると思いますが、もしご存知でしたら教えたいただけると助かります)。以下、技巧とApery の場合を調べ

レーティング差の圧縮効果

技巧のレーティングを計測し始めて以降、最初高く出ていたレーティングが、少しずつ落ちてきました。これはレーティングが200程度離れているソフトとの対局をさせると、レーティングの差ほど勝ち越せていないことに起因しています。 以前からこのような現象は他のソフトのレーティングの計測でも起きていました。つまり強さの順にA,B,Cというプログラムがあるとき、AとBのレーティング差をR(A,B), BとCの差をR(B,C), AとCの差をR(A,C)とするとき、A, B, Cの間の対局を非常に多く行ってレート差の統計精度をあげたとしても、R(A,C)= R(A,B)+ R(B, C)のようにならないのではないかと思います。 ソフトの勝率というものは、いろいろな要素に影響されいて(定跡の選択、探索の手法、評価関数の与え方、実効速度の違いなど)それらを勝率という単一の尺度でレーティングという一つの数字で表そうとしても、原理的に無理があるのではないかと思います。私の予想としては R(A,C) < R(A,B)+ R(B,C) のような三角不等式があると思っていて、数値的にも示すことができるしちゃんと証明することもできると思います。おそらくこれは専門家の方々はよくご存知の現象だと想像しています。ご教唆いただけると幸いです。 ところで、このような問題があることを予想しているので、あまりレーティングが離れたソフトの対戦はやらないほうが良いかなと思っています。それは、レーティングの使われ方として比較的力が接近したソフトの間の勝率を気にされる人が多いかなと思うからです。その意味では対局の組み合わせをR200

特集記事
最新記事
アーカイブ
タグから検索
まだタグはありません。
ソーシャルメディア
  • Facebook Basic Square
  • Twitter Basic Square
  • Google+ Basic Square