Alocação conjunta dinâmica de recursos em redes de comunicação sem fio marítimas: uma abordagem de aprendizado por reforço meta baseada em incorporação de conhecimento

Zhongyang MAO ,  

Zhilin ZHANG ,  

Faping LU ,  

Xiguo LIU ,  

Zhichao XU ,  

Yaozong PAN ,  

Jiafang KANG ,  

Yang YOU ,  

Abstract

À medida que a exploração humana dos oceanos se expande, a demanda por comunicação marítima contínua, de alta qualidade e ubíqua está aumentando constantemente. No entanto, a natureza dinâmica do ambiente marinho e as restrições de recursos apresentam desafios significativos para os métodos tradicionais heurísticos de alocação de recursos, complicando o equilíbrio entre comunicação de alta qualidade e recursos limitados da rede. Isso resulta em uma taxa de transferência do sistema subótima e uma dependência excessiva de estruturas problemáticas específicas. Para abordar essas questões, neste artigo, introduzimos um método conjunto de alocação de recursos baseado em incorporação de conhecimento. A abordagem proposta inclui um módulo de alinhamento de distribuição de ações projetado para melhorar a utilização de recursos, evitando combinações irrazoáveis de ações e saídas. Além disso, integrando a incorporação de conhecimento com técnicas de aprendizado por reforço meta, foi formulada uma função de perda de orientação física, que reduz efetivamente o tamanho da amostra necessária para o treinamento do modelo, melhorando assim as capacidades de generalização do algoritmo. Resultados de simulação mostram que o método proposto alcança um aumento na taxa média de transferência do sistema de 31,19% em comparação com o algoritmo de otimização de política proximal de aprendizado meta-agnóstico ao modelo (MAML-PPO) e 80,91% em comparação com o algoritmo RL2, em vários ambientes de canal.

Keywords

Comunicação sem fio marítima;Alocação de recursos;Incorporação de conhecimento;Aprendizado por reforço meta

READ MORE