人間の棋譜を用いない振り飛車評価関数(３駒型)の利用
ここ数年で将棋ソフトの棋力は著しく向上しましたが、その一方で学習過程で居飛車を過大に評価するようになった可能性も示唆されています(1-4)。これまで振り飛車を評価する様々な評価関数作成の試みが行われており ・定跡などで振り飛車局面を多く含んだ教師を生成する(5-7)・振り飛車局面を過大に評価させた教師を生成する(8)・振り飛車が負けた局面を取り除いた教師を用意する(9)・学習時に振り飛車局面で出現しうる形を評価する(10, 11) などの手法で既存の評価関数に対する追加学習、ゼロベクトルからの学習において成果が確認されています。
今回の W@ndre では、通常の初期局面が飛車先を突きやすく居飛車を過大評価しやすい状況だと仮定し(*)、十数種類の特定初期局面 (Fig. 1) から教師局面を生成し、強化学習を行うことで居飛車を過学習しない評価関数の作成を行います。
本学習はやねうら王(12)・習甦 (WCSC27,28)(13) より着想を得ました。
例えば、評価関数を読み込まない時のエンジンの指し手が飛車先の歩を突くかどうかは探索部に依存し、やねうら王 (v4.83) や技巧2では16歩など端歩を突く、shogi686 (SDT4)、Apery (WCSC28) では飛車先を突く、nozomi (WCSC28) は角道を開けるなどの指し手の差を確認しています。 (20190515 追記) 他にも、Bonanza6 だと16歩からの26歩、Novice_sdt5 だと78銀から79角という指し手でした。
(20190517 追記) 未調査の 2 局面を評価しました。
(20190515 追記) 以下詳細
アピール文での予想に対し実際は学習過程で振り飛車よりも居飛車の矢倉を好む棋風になっていきました。
実際、いくつかの初期局面では飛車先を支障なく突ける状況にあるため、居飛車の過大評価を避けられなかったものと考えられます。
いくつかの初期局面毎に、居飛車党になりやすい・振り飛車になりやすそうという傾向は見えていますが、それ以上は現時点ではわかっていません。
KPPT と NNUE でも傾向が違うらしいという話もあるみたいで、引き続き実験等を続ける予定です。
行った試験
QRL で R4330 相当の評価関数 orqha を
用い、それぞれの初期局面からランダムムーブを 7 〜 17 手までに 3 回入れて教師局面を生成した。通常のランダムムーブで 5000
万局面、MultiPV 7 のランダムムーブで 5000 万局面を用意。(depth 8, eval_limit 7000,
write_minply 17)
初期局面毎の教師局面 1 億をそれぞれ 0 ベクトルの KPPT 型評価関数に学習させた。(eta 30, lambda 0.8, lambda2 0.2, lambda_limit 3000)
学習後の評価関数の指し手を目視で確認した。
ネットワーク構造を変更した振り飛車 NNUE 型評価関数の使用
ネットワーク構造を変更した振り飛車 NNUE 型評価関数を使用します。少ない教師で実験したところよさげなネットワークを見つけた(本当か？)ので、そろそろ教師を増やして学習を行う予定です。学習に際しては・上記で作成た評価関数より教師を用意する・定跡で振り飛車局面を増やした教師を用意する・やねうら王ライブラリで配布された教師(14)を利用する などを予定しています。
(20190515 追記) 選手権後に連続対局を行って強さを確認しましたが、棋譜を見る限り終盤に難があるようで、次回への課題です。
(20190517 追記) 使用したネットワーク構造を書き忘れていました。今回使用した NNUE のネットワークは halfKP_256x2-32-32-32-32-32-32 です。NPS は halfkp_256x2-32-32 比で 80% 程だったと思います。
定跡に向飛車を採用
去年の採用定跡は角頭歩、阪田流向飛車、都成流、ダイレクト向飛車だったのですが、振り返ってみると向飛車ばかりでした。それならば角不換型の向飛車も指せた方がいいだろう、ということで今年は向飛車のレパートリーを増やします。