Entkoppelte, aufforderungsgeführte Expertenmischung mit dynamischer Distillation für multimodale Empfehlung

Lili WU ,  

Renmin ZHANG ,  

Bin ZHANG ,  

Jincheng ZHANG ,  

Xi CHEN ,  

Yingjing QIAN ,  

Abstract

Multimodale Empfehlung zielt darauf ab, die Präferenzmodellierung durch die Nutzung visueller und textueller Merkmale zu bereichern. Die Integration hochdimensionaler vortrainierter Merkmale führt jedoch zu erheblichem Rechenaufwand. Während Wissensdistillation eine effektive Komprimierungsstrategie bietet, stehen bestehende Rahmenwerke vor drei miteinander verflochtenen Herausforderungen: Rangengpässe durch niedrigdimensionale Projektionen, modalübergreifende Interferenzen durch gemeinsame Fusionsräume und Optimierungsinstabilität bei statischen Distillationstemperaturen. Um diese Probleme zu adressieren, schlagen wir ProMoE-DTS vor, ein entkoppeltes, aufforderungsgeführtes Expertenmischrahmenwerk mit dynamischer Temperaturplanung. Mittels einer asymmetrischen Lehrer-Schüler-Architektur nutzt das Lehrermodell modalitätsbewusste Soft Prompts als semantische Anker, um heterogene Merkmale in parameterdisjunkte Expertennetzwerke zu leiten, wodurch modalübergreifende Konflikte gemildert und Rangengpässe gelöst werden. Zur Sicherstellung eines stabilen Wissenstransfers regelt ein feedbackgesteuerter dynamischer Temperaturscheduler die Distillationsintensität adaptiv basierend auf epochalen Signalen. Dieses asymmetrische Design beschränkt intensive multimodale Operationen auf den Offline-Lehrer und überlässt dem Online-Schülermodell eine hocheffiziente, reine Identifikator-basierte Struktur. Umfangreiche Experimente an drei Benchmark-Datensätzen zeigen, dass ProMoE-DTS Recall@20 um 2,24 %–3,96 % gegenüber dem Stand der Technik verbessert und dabei nur 3,28 %–3,55 % der Lehrerparameter benötigt.

Keywords

Multimodale Empfehlung;Wissensdistillation (KD);Prompt-Tuning;Expertenmischung (MoE);Dynamische Temperaturplanung

READ MORE

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website