Abstract
في السنوات الأخيرة، أظهرت نماذج التدريب المسبق واسعة النطاق مزاياها في مهام مختلفة. ومع ذلك، بسبب الحسابات الثقيلة ومتطلبات التخزين الكبيرة، يصعب نشر نماذج التدريب المسبق واسعة النطاق في السيناريوهات الحقيقية. تتطلب طرق تقطير المعرفة السائدة حاليًا أن تشترك نماذج المعلم والطالب في نفس فضاء العلامات، مما يحد من تطبيق نماذج التدريب المسبق في السيناريوهات الحقيقية. لتخفيف قيود فضاءات العلامات المختلفة، تقترح هذه الورقة طريقة تقطير المعرفة متعددة المهام الموجهة بواسطة النماذج الأولية (ProC-KD)، والتي تهدف إلى نقل معرفة تمثيل الكائنات الجوهرية من شبكة المعلم إلى مختلف سيناريوهات المهام اللاحقة. أولاً، لتحسين تعلم المعرفة العامة عبر المهام، تم اقتراح وحدة تعلم النماذج الأولية لتعلم تمثيل الكائنات الثابت من شبكة المعلم. ثانيًا، بالنسبة للمهام اللاحقة المتنوعة، تم اقتراح وحدة تعزيز الخصائص المتكيفة مع المهمة لتعزيز ميزات شبكة الطالب من خلال تمثيلات النماذج الأولية العامة المكتسبة، وتوجيه تعلم شبكة الطالب لتحسين قدرتها على التعميم. تم التحقق من فعالية الطريقة المقترحة في سيناريوهات تقطير المعرفة متعددة المهام من خلال تجارب على مهام بصرية مختلفة.
Keywords
تقطير المعرفة;متعدد المهام;تعلم النماذج الأولية