海洋経済活動の急増に伴い、海上通信の需要が爆発的に増加しており、限られたスペクトル資源、高度に動的なスペクトル環境、多様なサービス要求の問題がますます顕著になっている。従来の深層強化学習手法は特定の訓練シナリオで良好な性能を示すが、未知のネットワーク環境への一般化が困難である。この問題に対処するため、本研究では適応型メタ強化学習に基づく海上動的スペクトルアクセスおよびサービススケジューリング技術を検討した。まず、マルコフジャンピングおよびスペクトルホッピングモードを含むチャネル占有モデルを構築し、緊急パケットと通常パケットの二重キュー機構を組み合わせて、多エージェント協調意思決定問題を分散型部分観測マルコフ決定過程としてモデル化した。次に、従来の深層強化学習アルゴリズムの一般化能力の低さを克服するため、多タスク分布上でのメタトレーニングを通じて方策の迅速な転移を実現するスペクトルアクセスおよびサービススケジューリングアルゴリズムを提案した。さらに、固定の内部ループ学習率による適応効率のボトルネックを解決するため、タスクエンコーディングモジュールを介して学習率を動的に調整する適応型メタ強化学習アルゴリズムを設計し、異なる複雑度のタスクにおける収束速度のバランスを図った。シミュレーション結果は、提案アルゴリズムが未知環境において平均報酬、緊急パケット成功率、および収束速度の指標でベースラインアルゴリズムを上回り、本手法の海上複雑環境下での優位性を効果的に検証した。本研究は、海上無線通信システムが未知のシナリオに迅速に適応してインテリジェントなスペクトルアクセスとサービススケジューリングを実現するための有効なソリューションを提供する。

動的スペクトルアクセス;適応型メタ強化学習;サービススケジューリング;海上通信