JFA:階層的ニューラルネットワークと人間の知識を融合したチベット久棋二段階強化学習モデル

Xiali LI ,  

Xiaoyu FAN ,  

Junzhi YU ,  

Zhicheng DONG ,  

Xianmu CAIRANG ,  

Ping LAN ,  

Abstract

チベット久棋(藏族久棋)は国家級の無形文化遺産であり、配置フェーズと戦闘フェーズの二段階からなる複雑なチェスゲームです。ハードウェア資源が限られる中で、チベット久棋の深層強化学習(DRL)モデルの棋力向上は課題となっています。本稿では、この問題を解決するために、階層的ニューラルネットワークと人間の知識を導入した二段階モデルであるJFAを提案します。本モデルは、配置フェーズ用の戦略配置モデル(SLM)と戦闘フェーズ用の階層的戦闘モデル(HBM)の二つのサブモデルを含みます。両サブモデルは類似のネットワーク構造を採用し、並列モンテカルロ木探索(MCTS)法を用いて独立した自己対局学習を行います。HBMは階層的ニューラルネットワークで構成され、上位ネットワークは移動およびジャンプを選択し、下位ネットワークは成方と駒取りの動作を選択します。人間の知識に基づいて支援エージェントを設計し、SLMおよびHBMとともに対局全体をシミュレーションし、成方状況または実際の勝敗に応じて報酬信号を提供します。さらにHBMモデルでは、並列MCTSの剪定と下位ネットワークの駒取り動作のキャプチャのために、人間の知識に基づく二種類の剪定方法を提案しています。AlphaZero手法を用いた配置モデルとの実験において、SLMの勝率は74%であり、意思決定時間はAlphaZeroモデルの約1/147に短縮されました。SLMは2024年中国全国コンピューターゲーム大会で優勝しました。HBMモデルは他のチベット久棋モデルとの対局で70%の勝率を達成しました。JFAフレームワーク内でSLMとHBMが連携して動作すると、勝率は81%に向上し、アマ四段レベルの棋力に達しました。これらの成果は、JFAフレームワークがチベット久棋の人工知能の競技力を効果的に向上させることを示しています。

Keywords

ゲーム; 強化学習; チベット久棋; 独立二段階モデル; 自己対局; 階層的ニューラルネットワーク; 並列モンテカルロ木探索

READ MORE