E-CGL: an efficient continual graph learner

Jianhao GUO ,  

Zixuan NI ,  

Yun ZHU ,  

Siliang TANG ,  

Abstract

أصبح التعلم المستمر أسلوبًا رئيسيًا لاكتساب المعرفة الجديدة من البيانات السلسلية والحفاظ على المعرفة السابقة. يتميز تعلم الرسوم البيانية المستمرة (CGL) بالسمات الديناميكية الناجمة عن البيانات المتدفقة، والتحدي الفريد الذي يتطلب خوارزميات فعالة لمنع النسيان الكارثي. التحدي الأول ينبع من الاعتماد المتبادل بين البيانات الرسومية المختلفة - حيث تؤثر البيانات الرسومية التاريخية على توزيع السمات في البيانات الجديدة. التحدي الثاني يتمثل في كيفية التعامل بشكل فعال مع بيانات الرسومات الكبيرة. للتغلب على هذه التحديات، يقدم هذا البحث جهازًا فعالًا لتعلم الرسوم البيانية المستمرة (E-CGL). من خلال التحقق من فعالية استراتيجية الإعادة، واقتراح طريقة أخذ العينات المشتركة التي تركز على أهمية العقد والتنوع معًا، يتم حل مشكلة الاعتماد المتبادل بين بيانات الرسومات. من حيث تحسين الكفاءة، يعتمد E-CGL على نموذج مدرك متعدد الطبقات بسيط وفعال، يشارك هذا النموذج وزنه مع شبكات الأعصاب الرسومية، مما يحقق تسريع الحسابات من خلال فك توقيت نقل الرسائل الطويلة في عملية التدريب. يحقق هذا الأسلوب نتائج متقدمة على أربعة مجموعات بيانات في إعدادين تجريبيين مختلفين، مع تقليل معدل النسيان الكارثي إلى متوسط ​​بنسبة -1.1٪. بالإضافة إلى ذلك، يتم تحسين سرعة التدريب والاستنتاج لـ E-CGL بنسبة 15.83 مرة و 4.89 مرة على أربعة مجموعات بيانات، على التوالي. تشير هذه النتائج إلى أن E-CGL لا يحتفظ فقط بالارتباط بين بيانات الرسومات بشكل فعال خلال عملية تحديث النموذج، بل يحسن بشكل كبير الكفاءة في سيناريوهات تعلم الرسومات المتسلسلة الكبيرة.

Keywords

Graph neural networks;Continual learning;Dynamic graphs;Continual graph learning;Graph acceleration

READ MORE