Le jeu tibétain Jiuchi, patrimoine culturel immatériel national, est un jeu d'échecs complexe comprenant deux phases : la disposition et le combat. Avec des ressources matérielles limitées, améliorer le niveau de compétence des modèles d'apprentissage par renforcement profond (DRL) pour le Jiuchi tibétain devient un défi. Pour résoudre ce problème, cet article propose un modèle en deux phases basé sur des réseaux neuronaux hiérarchiques et une guidance par la connaissance humaine - JFA. Il comprend deux sous-modèles : le modèle de stratégie de disposition (SLM) pour la phase de disposition et le modèle de combat hiérarchique (HBM) pour la phase de combat. Les deux sous-modèles utilisent une structure de réseau similaire et adoptent une méthode de recherche d'arbre de Monte-Carlo parallèle (MCTS) pour un entraînement d'auto-jeu indépendant. Le HBM est composé d'un réseau neuronal hiérarchique, où le réseau supérieur sélectionne les mouvements et les sauts de capture, tandis que le réseau inférieur sélectionne les mouvements de formation de carrés et de capture. Un agent auxiliaire conçu sur la base des connaissances humaines simule l'ensemble du processus de jeu avec le SLM et le HBM, fournissant des signaux de récompense selon la situation de formation de carrés ou les résultats réels. En outre, dans le modèle HBM, deux méthodes de taille basées sur la connaissance humaine sont proposées, prunant respectivement le MCTS parallèle et capturant les actions de capture dans le réseau inférieur. Dans les expériences de jeu contre le modèle de disposition utilisant la méthode AlphaZero, le taux de victoire du SLM est de 74%, avec un temps de décision réduit à environ 1/147 de celui du modèle AlphaZero. Le SLM a remporté le championnat national chinois des jeux informatiques 2024. Le modèle HBM a obtenu un taux de victoire de 70% face à d'autres modèles de Jiuchi tibétain. Lorsque le SLM et le HBM coopèrent dans le cadre de JFA, le taux de victoire atteint 81%, atteignant le niveau d'un joueur amateur de quatrième dan. Ces résultats montrent que le cadre JFA peut efficacement améliorer la performance compétitive de l'intelligence artificielle pour le Jiuchi tibétain.
Keywords
jeu; apprentissage par renforcement; Jiuchi tibétain; modèle en deux phases indépendant; auto-jeu; réseau neuronal hiérarchique; recherche d'arbre de Monte-Carlo parallèle