해양 경제 활동의 급증으로 해상 통신 수요가 폭발적으로 증가하고 있으며, 제한된 주파수 자원, 매우 동적인 주파수 환경 및 다양한 서비스 요구 문제가 점점 더 두드러지고 있다. 전통적인 심층 강화 학습 방법은 특정 훈련 환경에서 좋은 성능을 보이지만, 미지의 네트워크 환경으로 일반화하는 데 어려움이 있다. 본 논문에서는 적응형 메타 강화 학습에 기반한 해상 동적 주파수 접속 및 서비스 스케줄링 기술을 연구하였다. 먼저, 마르코프 홉핑 및 확산 홉핑 모드를 포함하는 채널 점유 모델을 구축하고, 긴급 및 일반 데이터 패킷의 이중 대기열 메커니즘과 결합하여 다중 에이전트 협동 의사결정 문제를 분산 부분 관측 마르코프 결정 과정으로 모델링하였다. 둘째, 전통적인 심층 강화 학습 알고리즘의 일반화 능력 부족 문제를 해결하기 위해, 다중 과제 분포에서의 메타 학습을 통해 빠른 정책 전이를 실현하는 주파수 접속 및 서비스 스케줄링 알고리즘을 제안하였다. 또한, 고정된 내부 학습률로 인한 적응 효율 병목 현상을 해결하기 위해 과제 인코딩 모듈을 통해 학습률을 동적으로 조정하는 적응형 메타 강화 학습 알고리즘을 설계하여, 서로 다른 복잡도의 과제에서 수렴 속도를 균형 있게 조절하였다. 시뮬레이션 결과, 제안된 알고리즘은 미지의 환경에서 평균 보상, 긴급 패킷 성공률 및 수렴 속도 등 지표에서 모두 기준 알고리즘보다 우수하여 본 방법의 해상 복잡 환경에서의 우수성을 효과적으로 검증하였다. 본 연구는 해상 무선 통신 시스템이 미지의 시나리오에 빠르게 적응하여 지능형 주파수 접속 및 서비스 스케줄링을 수행할 수 있는 효과적인 솔루션을 제공한다.

동적 주파수 접속; 적응형 메타 강화 학습; 서비스 스케줄링; 해상 통신