JFA: Modelo de aprendizado por reforço em duas fases para Jiuchi tibetano integrando redes neurais hierárquicas e conhecimento humano

Xiali LI ,  

Xiaoyu FAN ,  

Junzhi YU ,  

Zhicheng DONG ,  

Xianmu CAIRANG ,  

Ping LAN ,  

Abstract

Jiuchi tibetano, como um patrimônio cultural imaterial nacional, é um jogo de xadrez complexo que inclui duas fases: posicionamento e combate. Com recursos de hardware limitados, melhorar o nível de força do modelo de aprendizado profundo por reforço (DRL) para Jiuchi tibetano torna-se um desafio. Para resolver este problema, este artigo propõe um modelo de duas fases baseado em redes neurais hierárquicas e orientação pelo conhecimento humano - JFA. Ele contém dois submodelos: o modelo de estratégia de posicionamento (SLM) para a fase de posicionamento e o modelo hierárquico de combate (HBM) para a fase de combate. Ambos os submodelos utilizam estruturas de rede semelhantes, empregam o método paralelo de busca em árvore de Monte Carlo (MCTS), e treinam independentemente através de autojogo. O HBM é formado por uma rede neural hierárquica, onde a rede superior seleciona movimentos e ações de pulo para captura, e a rede inferior seleciona ações de formação de quadrados e captura. Um agente assistente baseado em conhecimento humano foi projetado para simular todo o processo do jogo em conjunto com o SLM e HBM, fornecendo sinais de recompensa com base na formação de quadrados ou no resultado real. Além disso, no modelo HBM, são propostas duas técnicas de poda baseadas em conhecimento humano, uma para podar o MCTS paralelo e outra para capturar ações de captura na rede inferior. Em experimentos de partidas do modelo de posicionamento contra modelos baseados no método AlphaZero, o SLM obteve uma taxa de vitória de 74%, reduzindo o tempo de decisão para aproximadamente 1/147 do tempo do modelo AlphaZero. O SLM venceu o Campeonato Nacional Chinês de Jogos de Computador de 2024. O modelo HBM alcançou uma taxa de vitória de 70% em partidas contra outros modelos de Jiuchi tibetano. Quando o SLM e o HBM cooperam dentro da estrutura JFA, a taxa de vitória aumenta para 81%, atingindo o nível de um jogador amador de quarto dan. Esses resultados indicam que a estrutura JFA pode melhorar efetivamente o desempenho competitivo da inteligência artificial para Jiuchi tibetano.

Keywords

jogo; aprendizado por reforço; Jiuchi tibetano; modelo independente em duas fases; autojogo; rede neural hierárquica; busca em árvore de Monte Carlo paralela

READ MORE