レーティングサイトから将棋ソフトの2017年を振り返る

将棋ソフトのレーティングがよくわからないということで素人が試行錯誤しながら始めたこのサイト、2016年末くらいには一応その当時発表されていたほとんどのフリーソフトのレートを計測し、当初の趣旨は貫徹したので終了しようかなと思っていました。しかし、その後も将棋ソフトは熱く発展し、気がついたらもう一年続けていました。年末ですし、今年何があったかまとめておきます。 (1)レート向上:2016年は技巧・魔女の公表、コミュニティーの協力によるApery評価関数の開発など話題の多い一年で、レーティングサイトとしても次から次へと登場する強いソフトの登場に対応するのが大変でした。2016年のはじめのトップソフトはレートの基準にしているApery_twig(大樹の枝)=R3250でしたが、年末には浮かむ瀬(現在R3661)が最強になっていました。2017年も強いソフトの登場は後を絶たず、現在の最強はやねうら王とApery_sdt5評価関数の組み合わせでR4120です。(野良も入れるとaperypaqのR4150)2016年のレート上昇が約R400, 2017年はR500近い、2年かけてR900も強くなりました。R900というとアマ5級が5段になるくらい、ソフトはいったいどこまで強くなるのでしょうか。レート向上の原因は私見ですが 2016年:技巧登場、魔女による探索エンジンの改良、Aperyのコミュニティー参加型ぞうきん絞り 2017年:elmoによる学習部の革新、SDT5で優勝したponpokoや5位入賞したQhapaqに代表されるやねうら王チームの頑張り。シボレーによる野良評価関数の出現

上位ソフトでは先手有利?

まふさんのブログで最近開発されたmafu110の対局結果について記事を書かれていますが、後手番がとにかく弱いというコメントが強く印象に残りました。実は私も上位ソフト(評価関数)で先手有利が確立しつつあるような気がしていたので、最近調べたレーティング戦の結果をおさらいしてみました(@YasuhiroIke, @snooze1mitsuya, @Rota_JPさんらから頂いた棋譜も含む)。現在のレートでR4050程度以上(定跡はoffにした対局)ということで調べてみると、 という結果になりました。トータルでは先手勝ち1956-176-1441後手勝ちで先手勝率は(引き分けを0.5勝とカウントして)57.2%, プロ棋士同士の対局の先手勝率(52%)よりもかなり大きいような気がします。この結果、上位ソフト同士の対局をサンプリングしたものなのですが、実は同様の結果はもう少し下から出ていたのかもしれません。冬休みの宿題にちょうどよいかもしれません。 勝率57%超というと、そろそろハンディが必要な領域のような気もします。(レート差で50になります。)もしかするとソフト対局では先手にハンデをつけるべき時代に入ってきたのかもしれません。例えば、互角局面から始める、駒落ち(先手香落ち)、先手の持ち時間を減らす、などなど。私が調べているレーティングのための対局も工夫が必要だと思うので、色々実験してみようと考えています。 12/29 追記 この記事と関連するツィートに関して以下のようなコメントを貰いましたので追記いたします。 まふさん @mafu_op_theory 「初夏頃にfloodgateの

評価関数を固定したときの探索エンジン比較:Apery_sdt5評価関数で魔女復活?

最近、新ソフトの発表というと評価関数の更新が主で、探索エンジンはやねうら王に固定という状態が続いていました。この現象、WCSC27におけるelmoの劇的な登場の際、やねうら王との組み合わせとSilent Majorityとの組み合わせで大きな差が出た、やね/elmo 177-103 魔女/elmo(R差94)という結果によるものが大きい思います。WCSC27までははこの2つのエンジンで激しい競争が行なわれていましたのですが、探索エンジンの競争は本当に終わったのでしょうか?将棋電脳トーナメント5も終わり、新たな最強評価関数としてApery-sdt5が登場しましたので、このあたりで評価関数を揃えたときの探索エンジンのレート差を測り、各探索エンジンの位置付けを調査することにいたしました。今回の結果は、池泰弘さん(@YasuhiroIke) とmitsuyaさん(@snooze1mitsuya)との共同作業に基づいています。 今回、調査を行ったエンジンはやねうら王4.79トーナメント, Silent Majority 1.25, 浮かむ瀬(sdt4), うさぴょん2dash(sdt4)で、評価関数はApery_sdt5を用いています。対局条件は私のサイトにおける標準設定(Core i7-6700で4スレ1手5秒相当、定跡はoff)です。棋譜はこちらに置いてます。結果的には以下のような結果となりました。(やねうら王/Apery_sdt5をR4124に固定) 魔女とやねうら王が互角(!)という結果になりました。この二強に対して浮かむ瀬はR100強, うさぴょん2dashはR140程度の差と

Alpha zeroと将棋ソフトの家庭用PCにおける比較

Deep Mind社によるAlpha zeroと現存する将棋ソフトの比較、それぞれGPUとCPUを主に用いるソフトであるということでアーチテクチャが異なるためなかなか数値的に直接比較しにくいと思われます。しかし論文(Silver et. al. arXiv:1712.01815)とネットにあるデータである程度は比較可能ではないかと思いましたのでこの記事では私の試算を示します。いろいろなデータをつなぐのでラフな評価にしかなりませんが、このような比較がこれまでに無いようですので一応ご参考までにということで。なにか、数値や計算式で私の勘違いがあるようでしたらいつでも変更いたしますのでご指摘ください。私が用いる資料としては Alpha zeroとelmoの対局結果がAlpha zero 90-2-8 elmoであったこと。(イロレーティング差約400) 論文中に記載 Alpha zeroが対局で用いたハードはGoogle TPU 4個。記載はないけれども第二世代と想定。一個あたり180TFlop, 4個で720TFlop (資料がないので線形近似)日本の記事。家庭用PCで用いられるGPUとしてはある程度高性能のものということでNVidia GTX 1070(時価4万5千円)を選択。メーカーの表示では6.4TFlop。TPUとの性能差は約100倍。 論文中では10秒と0.1秒におけるAlpha zeroのEloレートの差は約1600 (Figure 2)。ちょうど1/100なので家庭用GPUで動かした(動く)とするとレートが1600下がるはず。 DeepMind社が用いた用いた将棋ソフト

How to install Yaneuraou with third party evaluation files/opening books and Gikou2

YaneuraOu installation: Currently the strongest shogi engine is Yaneuraou combined with third party evaluation file/opening book as my rating table suggests. To use them, you have to download various files from different sites and put them in the proper places to make them to work together. This is a complicated and easily mistaken procedure that may lead to unexpected results. While there are some instructions (for instance, by Makoto Takizawa-- elmo developer) written in Japanese, I think it may be useful to write an English instruction for international users. (After I wrote this, I realized that there is an instruction already.) Here are steps which you have to follow. (1) Check your o

Some concerns on the matching conditions between AlphaZero and Shogi engine

#Note 2018/12/18 After a year since the preprint appears, this paper was published in Science on December 7th, 2018. In the published version, all the concern presented here was solved together with the match records, which will be a treasure in the history of Shogi. After the publication of the paper (D. Silver et. al. "Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm", arXiv:1712.01815), there appeared a few concerns from the community of computer shogi programmers on the matching conditions between AlphaZero and Shogi engine “elmo”. Here I summarize the points with some explanations. (Informations will be updated if error is found). Resignation point

特集記事
最新記事
アーカイブ
タグから検索
まだタグはありません。
ソーシャルメディア
  • Facebook Basic Square
  • Twitter Basic Square
  • Google+ Basic Square