لقد حظيت التعلم التبايني باهتمام واسع لأنه يمكنه تعزيز محاذاة بين الوسائط وتكامل المعلومات بشكل فعال في تجميع الوسائط المتعددة. ومع ذلك، هناك مشكلتان رئيسيتان في طرق التجميع التبايني متعددة الوسائط الموجودة: (1) عادة ما تقوم الطرق الحالية بالتعلم التبايني في مرحلة واحدة أو اثنتين فقط ولديها استراتيجيات اختيار غير دقيقة لأزواج العينات السلبية. (2) تركز معظم الطرق فقط على التعلم التبايني وتتجاهل الاحتفاظ بمعلومات الاتساق. لمعالجة التحديات المذكورة أعلاه، نقترح إطار عمل للتجميع التبايني متعدد الوسائط متعدد المراحل مع الاحتفاظ بالاتساق. أولاً، نصمم إطار عمل تعلم تبايني منهجي، والذي يتضمن التعلم التبايني المبكر-الوسيط-المتأخر بين الميزات الفردية، الميزات المدمجة، والمجموعات، على التوالي، مما يحسن تكامل الدلالات ودقة المعلومات في التمثيل المدمج. ثانيًا، نقترح استراتيجية جديدة لاختيار أزواج العينات السلبية لاختيار الزوج السلبي الصحيح لكل عينة بشكل مميز. أخيرًا، نضيف مصطلح خسارة جديد إلى التعلم التبايني في المرحلة المتأخرة، والذي يأخذ بعين الاعتبار اتساق نتائج التجميع لنفس العينة تحت وسائط مختلفة لأول مرة. لذلك، مقارنة بالنموذج الأساسي، حسّن هذا النموذج الدقة بمعدل متوسط قدره 7.4 نقطة مئوية. بالإضافة إلى ذلك، نصمم وحدة احتفاظ بالاتساق لضمان أن النموذج يستطيع تعلم معلومات كل وسيطة دون أن يتأثر بجودة الوسائط العالية/المنخفضة، مما يحسن الدقة بمعدل متوسط قدره 2.2 نقطة مئوية. تظهر التجارب التي أجريت على عدة مجموعات بيانات متعددة الوسائط أن دقة طريقتنا أعلى بمعدل 4.1 نقطة مئوية في المتوسط مقارنة بأفضل طريقة تجميع متعددة الوسائط ثانية، مما يثبت الإمكانيات الممتازة لطريقتنا.

التجميع متعدد الوسائط;التعلم التبايني;الاحتفاظ بالاتساق;اختيار العينات السلبية