Jiuchi tibetano, como patrimonio cultural inmaterial nacional, es un juego de ajedrez complejo que incluye dos fases: colocación y combate. Con recursos limitados de hardware, mejorar el nivel de fuerza del modelo de aprendizaje profundo por refuerzo (DRL) para Jiuchi tibetano es un desafío. Para abordar este problema, este artículo propone un modelo en dos fases basado en redes neuronales jerárquicas y conocimiento humano guiado: JFA. Contiene dos submodelos: el modelo de estrategia de colocación (SLM) para la fase de colocación y el modelo de combate jerárquico (HBM) para la fase de combate. Ambos submodelos emplean estructuras similares de red, utilizan el método paralelo de búsqueda de árboles Monte Carlo (MCTS) y se entrenan de forma independiente mediante auto-juego. HBM está compuesto por una red neuronal jerárquica, donde la red superior selecciona movimientos y acciones de salto para capturar, y la red inferior selecciona acciones de formación de cuadros y captura. Se diseñó un agente auxiliar basado en conocimiento humano que, junto con SLM y HBM, simula todo el proceso del juego y proporciona señales de recompensa según la formación de cuadros o los resultados reales. Además, en el modelo HBM se proponen dos métodos de poda basados en conocimiento humano, uno para podar el MCTS paralelo y otro para capturar las acciones de captura en la red inferior. En experimentos enfrentando el modelo de colocación contra modelos basados en AlphaZero, SLM obtuvo una tasa de victoria del 74%, reduciendo el tiempo de decisión a aproximadamente 1/147 del tiempo requerido por el modelo AlphaZero. SLM ganó el campeonato nacional chino de juegos de computadora 2024. El modelo HBM logró una tasa de victoria del 70% contra otros modelos de Jiuchi tibetano. Cuando SLM y HBM colaboran dentro del marco JFA, la tasa de victoria aumenta al 81%, alcanzando el nivel de un jugador amateur de cuarto dan. Estos resultados demuestran que el marco JFA puede mejorar eficazmente el rendimiento competitivo de la inteligencia artificial en Jiuchi tibetano.
Keywords
juego; aprendizaje por refuerzo; Jiuchi tibetano; modelo independiente en dos fases; auto-juego; red neuronal jerárquica; búsqueda de árbol Monte Carlo paralelo