Asignación dinámica conjunta de recursos en redes de comunicación inalámbrica marítima: un enfoque de aprendizaje por refuerzo meta basado en la incrustación de conocimiento

Zhongyang MAO ,  

Zhilin ZHANG ,  

Faping LU ,  

Xiguo LIU ,  

Zhichao XU ,  

Yaozong PAN ,  

Jiafang KANG ,  

Yang YOU ,  

Abstract

A medida que la exploración humana del océano se expande, la demanda de comunicación marítima continua, de alta calidad y ubicua aumenta constantemente. Sin embargo, la naturaleza dinámica del entorno marino y las limitaciones de recursos presentan desafíos significativos para los métodos heurísticos tradicionales de asignación de recursos, complicando el equilibrio entre la comunicación de alta calidad y los recursos de red limitados. Esto resulta en un rendimiento subóptimo del sistema y una excesiva dependencia de estructuras problemáticas específicas. Para abordar estos problemas, en este artículo presentamos un método conjunto de asignación de recursos basado en la incrustación de conocimiento. El enfoque propuesto incluye un módulo de alineación de distribución de acciones diseñado para mejorar la utilización de recursos al evitar combinaciones irracionales de acciones y resultados. Además, al integrar la incrustación de conocimiento con técnicas de aprendizaje por refuerzo meta, se formula una función de pérdida de guía física que reduce eficazmente el tamaño de muestra requerido para el entrenamiento del modelo, mejorando así las capacidades de generalización del algoritmo. Los resultados de la simulación muestran que el método propuesto logra un aumento en el rendimiento promedio del sistema del 31,19% en comparación con el algoritmo de optimización de política proximal de aprendizaje meta agnóstico al modelo (MAML-PPO) y del 80,91% en comparación con el algoritmo RL2, en varios entornos de canal.

Keywords

Comunicación inalámbrica marítima;Asignación de recursos;Incrustación de conocimiento;Aprendizaje por refuerzo meta

READ MORE