やねうら王ベンチマーク募集

August 29, 2017

ツイッター上の会話で将棋エンジン向けのCPUベンチマークを調査したくなりました。この話題、以前から調べてみたいと思っていたのですが、どのソフトでベンチを取るべきか悩んでいた。ここ最近、トップフリーエンジンがやねうら王と評価関数のどれかの組み合わせになっていますので、ベンチマーク調査をするのなら今がチャンスなのかもしれないと思い立ちました。

 

ベンチマークのとり方について説明します。ShogiGUIや将棋所から動くようになっている設定のやねうら王をお持ちであること、評価関数(evalフォルダー内)は、elmoをインストールされていることを想定いたします。(評価関数elmoをお持ちでない方は通信の備考欄にお書きください。)

  • やねうら王実行ファイルをダブルクリックで立ち上げる。やねうら王のバージョンは現在v4.79が最新版です。v4.75はベンチマークを複数回行うと落ちるというバグがあるので4.75の方はアップデートを推奨いたします。できるだけ新しめのバージョンを使いましょう。

  • ベンチマークコマンド:"bench 128 8 19"を入力し実行。このうち128はメモリー(MB単位)ベンチコマンドの範囲内では128MBで固定にいたします。。また、8はスレッド数でお持ちのCPUにより調整してください。(私のパソコンの場合4コア8スレなので最大の8スレで計測します)19は思考深度でデフォールト(指定していない場合)の17よりもより深くやる方がより正確だろうということです(ご本尊からの情報)。やねうら王実行ファイルの中ではトーナメント版が最も速いようです。

  • ベンチマーク1スレ版:多スレと同時に1スレのNPSもCPU情報として貴重ですので、そちらも計測していただけると助かります。上記コマンドの応用で"bench 128 1"で測れます。

  • ベンチマークコマンドを実行した後、しばらくすると計測結果が出ます。例えば次のような画面です。

 ベンチマークに必要な情報はこの出力の中のNodes/secondという欄、上記画像では3761068という数字です。(上の画像ではv4.53なのでバージョンちょっと古いのですが、、)

 

調査にご協力していただける方は

 

  • CPU名:(例)intel Core i7-6700、AMD Threadripper 1950Xなど。

  • スレッド数:8スレなど。計測を行ったスレッド数

  • Nodes/second : 上記の数字。計測により数%程度ぶれますので何度か実行して平均をとるとより正確になります。

  • 1スレのNode/second : (bench 128 1の結果)

  • クロック数:定格、オーバークロックをされている場合はクロック数(GHz単位)

  • OS: Windows 10, Linux, Mac OSなどの各バージョン

  • やねうら王バージョン:上記やねうら王実行ファイルの画面で"usi"というコマンドを入れると一行目にid name YaneuraOu 2017 Early KPPT 4.76 64AVX2 TOURNAMENTなどとでるのでその中のid name以降の文字列。

  • 測定者:(任意)@uuunuuun1など

  • 備考:(任意)elmo以外の評価関数を用いたなど

報告例:

CPU名:intel Core i7-6700

クロック数:3.4GHz (定格)

Node/second (8スレ): 4203539

Node/second (1スレ): 938315

OS:Windows 10 home

やねうら王バージョン:YaneuraOu 2017 Early KPPT 4.76 64AVX2 TOURNAMENT

測定者:@uuunuuun1

 

送り先はtwitterの場合は、 @uuunuuun1、 あるいはこのサイトのContactタブからご連絡ください。よろしくお願いいたします。データをいただき次第、結果をまとめて発表させていただきます。

8/31 データが増えてまいりましたので専用ページに移行しました。

 

 

 

 

 

Please reload

特集記事

以前より、私のツィートや記事にコメントをいただいている、コンピュータ将棋に大変詳しい方(まふさんと名乗られています)が、技巧の定跡の開発を始められました。定跡を作るためのデータとして私がレーティング計測用に作った棋譜ファイルを使っていただいているという縁もあり、新定跡のテストを私が担当することになり...

技巧新定跡(まふ定跡)

December 8, 2016

1/10
Please reload

最新記事

September 30, 2018

Please reload

アーカイブ