Allocation dynamique conjointe des ressources dans les réseaux de communication sans fil maritimes : une approche d'apprentissage par renforcement méta basée sur l'incorporation des connaissances
Alors que l'exploration humaine des océans s'étend, la demande pour une communication maritime continue, de haute qualité et omniprésente augmente régulièrement. Cependant, la nature dynamique de l'environnement marin et les contraintes de ressources présentent des défis importants pour les méthodes heuristiques traditionnelles d'allocation des ressources, compliquant l'équilibre entre communication de haute qualité et ressources réseau limitées. Cela entraîne un débit système sous-optimal et une forte dépendance à des structures de problème spécifiques. Pour résoudre ces problèmes, cet article introduit une méthode conjointe d'allocation des ressources basée sur l'incorporation des connaissances. L'approche proposée inclut un module d'alignement de la distribution d'actions conçu pour améliorer l'utilisation des ressources en empêchant les combinaisons action-sortie non raisonnables. De plus, en intégrant l'incorporation des connaissances aux techniques d'apprentissage par renforcement méta, une fonction de perte à guidage physique est formulée, réduisant efficacement la taille des échantillons nécessaires à l'entraînement du modèle, améliorant ainsi les capacités de généralisation de l'algorithme. Les résultats de simulation montrent que la méthode proposée réalise une augmentation du débit moyen du système de 31,19% par rapport à l'algorithme d'optimisation de politique proximale par apprentissage méta-agnostique (MAML-PPO) et de 80,91% par rapport à l'algorithme RL2, à travers divers environnements de canal.
Keywords
Communication sans fil maritime;Allocation des ressources;Incorporation des connaissances;Apprentissage par renforcement méta