E-CGL: an efficient continual graph learner

Jianhao GUO ,  

Zixuan NI ,  

Yun ZHU ,  

Siliang TANG ,  

Abstract

L'apprentissage continu est devenu la méthode clé pour acquérir de nouvelles connaissances à partir de données séquentielles et préserver les connaissances antérieures. L'apprentissage continu des graphes (CGL) présente des caractéristiques dynamiques dues aux données en continu, et un défi unique qui exige des algorithmes efficaces pour éviter l'oubli catastrophique. Le premier défi vient de l'interdépendance des données graphiques différentes - les données graphiques historiques influencent la distribution des caractéristiques des nouvelles données. Le deuxième défi réside dans le traitement efficace des données graphiques à grande échelle. Pour relever ces défis, cette étude propose un dispositif efficace d'apprentissage continu des graphes (E-CGL). En vérifiant l'efficacité de la stratégie de relecture et en proposant une méthode d'échantillonnage combinée qui prend en compte l'importance des nœuds et la diversité, le problème de l'interdépendance des données graphiques est résolu avec succès. En termes d'amélioration de l'efficacité, E-CGL utilise un modèle de perceptron multi-couches simple et efficace, partageant les poids avec les réseaux neuronaux graphiques, désaccouplant le mécanisme coûteux de transmission de messages pour accélérer les calculs pendant l'entraînement. Cette méthode obtient des résultats avancés sur quatre ensembles de données dans deux configurations expérimentales, tout en réduisant considérablement l'oubli catastrophique à un niveau moyen de -1,1%. De plus, sur quatre ensembles de données, la vitesse d'entraînement et d'inférence d'E-CGL a augmenté de 15,83 et 4,89 fois, respectivement. Ces résultats montrent qu'E-CGL ne conserve pas seulement efficacement la relation entre les données graphiques lors de la mise à jour du modèle, mais améliore également considérablement l'efficacité dans des scénarios d'apprentissage continu de graphes à grande échelle.

Keywords

Graph neural networks;Continual learning;Dynamic graphs;Continual graph learning;Graph acceleration

READ MORE