JFA: نموذج التعلم المعزز ثنائي المرحلتين للعبة الشطرنج التيبيت، يدمج الشبكات العصبية الهرمية والمعرفة البشرية

Xiali LI ,  

Xiaoyu FAN ,  

Junzhi YU ,  

Zhicheng DONG ,  

Xianmu CAIRANG ,  

Ping LAN ,  

Abstract

كمن ضمن التراث الثقافي غير المادي الوطني، يعتبر شطرنج التيبيت (藏族久棋) لعبة شطرنج معقدة تشمل مرحلتي الترتيب والقتال. في ظل محدودية الموارد المادية، أصبح تحسين مستوى قوة نموذج التعلم المعزز العميق (DRL) للعبة التيبيت تحديًا. لحل هذه المشكلة، يقترح هذا البحث نموذجًا ثنائي المرحلتين مبنيًا على الشبكات العصبية الهرمية ودليل المعرفة - JFA. يحتوي على نموذجين فرعيين: نموذج الاستراتيجية للترتيب (SLM) و نموذج القتال الهرمي (HBM) لمرحلة القتال. المستخدمين لهذين النموذجين بنية شبكية متشابهة، ويستخدمان طريقة بحث مونت كارلو المتوازية (MCTS)، ويتدربان بشكل مستقل من خلال اللعب الذاتي. يتكون HBM من شبكة عصبية هرمية، حيث تختار الشبكة العليا الحركة والقفز للالتقاط، بينما تختار الشبكة السفلى حركة تشكيل المربعات والالتقاط. استُفيد من معرفة بشرية لتصميم وكيل مساعد مع SLM وHBM لمحاكاة العملية بالكامل وتقديم إشارة مكافأة على أساس تشكيل المربعات أو النتائج الفعلية. بالإضافة إلى ذلك، تم اقتراح طريقتين تقليم بناءً على المعرفة البشرية في نموذج HBM، واحدة لتقليم MCTS المتوازي، والأخرى للقبض على حركات الالتقاط في الشبكة السفلى. في التجارب التي جرت مع نموذج الترتيب باستخدام طريقة AlphaZero، حقق SLM معدل فوز 74% وتم تقليل وقت القرار إلى حوالي 1/147 مقارنة بزمن نموذج AlphaZero. فاز SLM بجائزة البطولة الوطنية الصينية لألعاب الكمبيوتر لعام 2024. حقق HBM معدل فوز 70% في منافسات مع نماذج أخرى لشطرنج التيبيت. عند تعاون SLM و HBM داخل إطار JFA، ارتفع معدل الفوز إلى 81%، مما يوازي مستوى لاعبي الشطرنج من درجة رباعية هاوية بشريين. تشير هذه النتائج إلى أن إطار JFA قادر على تحسين أداء الذكاء الاصطناعي في شطرنج التيبيت بشكل فعال.

Keywords

اللعب; التعلم المعزز; شطرنج التيبيت; نموذج ثنائي مرحلة مستقل; اللعب الذاتي; شبكة عصبية هرمية; بحث مونت كارلو المتوازي

READ MORE