知識埋め込みに基づくメタ強化学習アプローチによる海上無線通信ネットワークの動的共同資源割り当て

Zhongyang MAO ,  

Zhilin ZHANG ,  

Faping LU ,  

Xiguo LIU ,  

Zhichao XU ,  

Yaozong PAN ,  

Jiafang KANG ,  

Yang YOU ,  

Abstract

人類の海洋探査が拡大するにつれて、継続的で高品質かつ遍在的な海洋通信の需要が着実に増加しています。しかし、海洋環境の動的な性質と資源の制約は、従来のヒューリスティックな資源割り当て手法に大きな課題をもたらし、高品質な通信と限られたネットワーク資源とのバランスを複雑化させます。これにより、システムのスループットが最適以下となり、特定の問題構造への過剰な依存が生じます。これらの課題に対処するため、本論文では知識埋め込みに基づく共同資源割り当て手法を提案します。提案手法には、不合理な行動と出力の組み合わせを防ぐための行動分布整合モジュールが含まれています。さらに、知識埋め込みとメタ強化学習技術を統合することで、モデル訓練に必要なサンプル数を効果的に削減し、アルゴリズムの汎化能力を向上させる物理的ガイド損失関数を定式化しました。シミュレーション結果は、提案手法がモデル非依存メタ学習近接ポリシー最適化(MAML-PPO)アルゴリズムと比較して平均システムスループットを31.19%向上させ、RL2アルゴリズムと比較して80.91%向上させることを示しています。様々なチャネル環境において。

Keywords

海洋無線通信;資源割り当て;知識埋め込み;メタ強化学習

READ MORE