Abstract
ظهرت النماذج الكبيرة المدرَّبة مُسبقًا في السنوات الأخيرة بميزاتها في مختلف المهام. ومع ذلك، تقُوم الاحتياجات الحسابية الثقيلة واحتياجات التخزين الضخمة بتقييد قدرة نماذج التدريب الكبيرة المدرَّبة مُسبقًا على النشر في السيناريوهات الحقيقية. تَتطلبُ أساليب التبخير المعرفي الرئيسية الحالية مُشاركة نموذج المعلم ونموذج الطالب لنفس مساحة العلامات، مما يُقيِّد استخدام النموذج المدرَّب مُسبقًا في السيناريوهات الحقيقية. لتخفيف القيود التي تفرضها مساحات العلامات المختلفة، يُقترَحُ في هذا البحث أسلوب لتبخير المعرفة عبر المهام مُوجَهٌ من الأساسات (ProC-KD)، يَهدفُ إلى نقل المعرفة الأساسية لتمثيلات الكائنات من شبكة المعلم إلى مجموعة متنوعة من سيناريوهات المهام الفرعية. أولاً، لتحسين تعلُّم المعرفة العامة في سيناريوهات المهام المختلفة، يُقترَحُ وحدة تعلُّم أساسات، تُعمل على تعلُّم تمثيلات الكائنات الثابتة من شبكة المعلم. ثانيًا، لمجموعة متنوعة من المهام الفرعية، يُقترَحُ وحدة تعزيز السمات المُلائمة للمهمة، تقُومُ -من خلال تمثيلات الأساسات العامة المكتسبة- بتعزيز سمات الشبكة الطالبية، وتوجِّه تعلُّم الشبكة الطالبية لرفع قدرتها على التعميم. توضِّح التجارب التجريبية على مختلف المهام البصرية فعالية الأسلوب المُقتَرَح في سيناريوهات تبخير المعرفة عبر المهام.
Keywords
Knowledge distillation;Cross-task;Prototype learning