JFA: Zweistufiges verstärkendes Lernmodell für tibetisches Jiuchi unter Integration hierarchischer neuronaler Netze und menschlichen Wissens

Xiali LI ,  

Xiaoyu FAN ,  

Junzhi YU ,  

Zhicheng DONG ,  

Xianmu CAIRANG ,  

Ping LAN ,  

Abstract

Das tibetische Jiuchi, als nationales immaterielles Kulturerbe, ist ein komplexes Schachspiel, das zwei Phasen umfasst: Aufbau und Kampf. Bei begrenzten Hardware-Ressourcen wird die Steigerung der Spielstärke von tiefen verstärkenden Lernmodellen (DRL) für Tibetisches Jiuchi zur Herausforderung. Zur Lösung dieses Problems wird in dieser Arbeit ein zweistufiges Modell JFA vorgeschlagen, das auf hierarchischen neuronalen Netzen und wissensgeleiteter Menschlicher Expertise basiert. Es umfasst zwei Untermodule: das Strategiemodell für die Aufbauphase (SLM) und das hierarchische Kampfmodell (HBM) für die Kampfphase. Beide Untermodule verwenden eine ähnliche Netzwerkstruktur, verwenden die parallele Monte-Carlo-Baumsuche (MCTS) und trainieren unabhängig durch Selbstspiel. HBM besteht aus einem hierarchischen neuronalen Netzwerk, bei dem das obere Netzwerk Bewegungen und Sprungschlagaktionen auswählt, während das untere Netzwerk Bewegungen zur Quadratsbildung und zum Schlagen auswählt. Basierend auf menschlichem Wissen wurde ein unterstützender Agent entworfen, der zusammen mit SLM und HBM den gesamten Spielverlauf simuliert und Belohnungssignale basierend auf Quadratbildung oder tatsächlichem Spielausgang liefert. Darüber hinaus wurden im HBM-Modell zwei beschneidende Methoden basierend auf menschlichem Wissen vorgeschlagen, eine zum Beschneiden von parallelen MCTS und eine zum Erfassen von Schlagaktionen im unteren Netzwerk. In Experimenten, bei denen das Aufbaumodell gegen ein mit AlphaZero trainiertes Modell spielte, erreichte SLM eine Gewinnrate von 74%, wobei die Entscheidungszeit auf etwa 1/147 der AlphaZero-Modellzeit reduziert wurde. SLM gewann die chinesische nationale Computer-Spielmeisterschaft 2024. Das HBM-Modell erzielte eine Gewinnrate von 70% gegen andere tibetische Jiuchi-Modelle. Wenn SLM und HBM im JFA-Rahmen zusammenarbeiten, steigt die Gewinnrate auf 81% und erreicht das Niveau eines menschlichen Amateurgroßmeisters 4. Dan. Diese Ergebnisse zeigen, dass der JFA-Rahmen die Wettbewerbsfähigkeit künstlicher Intelligenz im tibetischen Jiuchi effektiv verbessern kann.

Keywords

Spiel; Verstärkendes Lernen; tibetisches Jiuchi; unabhängiges zweistufiges Modell; Selbstspiel; hierarchisches neuronales Netzwerk; parallele Monte-Carlo-Baumsuche

READ MORE