티베트 주치(藏族久棋)는 국가급 무형문화유산으로, 배치 단계와 전투 단계의 두 단계를 포함하는 복잡한 체스 게임입니다. 하드웨어 자원이 제한된 상황에서 티베트 주치의 심층 강화 학습(DRL) 모델의 실력 향상은 어려운 문제입니다. 이를 해결하기 위해 본 논문에서는 계층 신경망과 인간 지식 기반의 두 단계 모델인 JFA를 제안합니다. 이 모델은 배치 단계용 전략 배치 모델(SLM)과 전투 단계용 계층적 전투 모델(HBM)의 두 하위 모델로 구성됩니다. 두 하위 모델은 유사한 네트워크 구조를 사용하며, 병렬 몬테카를로 트리 탐색(MCTS) 기법을 활용하여 독립적인 자가 대국 학습을 수행합니다. HBM은 계층 신경망으로 구성되어 있으며, 상위 네트워크는 이동 및 점프 먹기 동작을 선택하고 하위 네트워크는 사각형 만들기 및 먹기 동작을 선택합니다. 인간 지식을 기반으로 보조 에이전트를 설계하여 SLM과 HBM과 함께 전체 대국 과정을 시뮬레이션하고, 사각형 형성 상황 또는 실제 승패에 따라 보상 신호를 제공합니다. 또한 HBM 모델에서는 병렬 MCTS 가지치기와 하위 네트워크의 먹기 동작 캡처를 위한 두 가지 인간 지식 기반 가지치기 방법을 제안합니다. 알파제로 방식을 사용하는 배치 모델과의 대국 실험에서 SLM은 74%의 승률을 기록했으며, 의사 결정 시간은 알파제로 모델 시간의 약 1/147로 단축되었습니다. SLM은 2024년 중국 전국 컴퓨터게임대회에서 우승을 차지했습니다. HBM 모델은 다른 티베트 주치 모델과의 대국에서 70%의 승률을 달성했습니다. JFA 프레임워크 내에서 SLM과 HBM이 협력할 때 승률은 81%로 상승하여 인간 아마추어 4단 수준에 도달했습니다. 이러한 결과는 JFA 프레임워크가 티베트 주치 인공지능의 경쟁력을 효과적으로 향상시킬 수 있음을 보여줍니다.

게임; 강화 학습; 티베트 주치; 독립 두 단계 모델; 자가 대국; 계층 신경망; 병렬 몬테카를로 트리 탐색