Distillation dynamique découplée du mélange d'experts guidée par prompt pour la recommandation multimodale

Lili WU ,  

Renmin ZHANG ,  

Bin ZHANG ,  

Jincheng ZHANG ,  

Xi CHEN ,  

Yingjing QIAN ,  

Abstract

La recommandation multimodale vise à enrichir la modélisation des préférences en exploitant les caractéristiques visuelles et textuelles. Cependant, l'intégration de caractéristiques pré-entraînées de haute dimension introduit une charge computationnelle substantielle. Bien que la distillation des connaissances fournisse une stratégie de compression efficace, les cadres existants rencontrent trois défis interdépendants : les goulets d'étranglement liés aux projections de faible dimension, les interférences intermodales induites par des espaces de fusion partagés, et l'instabilité de l'optimisation sous des températures de distillation statiques. Pour résoudre ces problèmes, nous proposons ProMoE-DTS, un cadre découplé de mélange d'experts guidé par des prompts avec une planification dynamique de la température. En utilisant une architecture asymétrique enseignant-étudiant, le modèle enseignant exploite des prompts doux sensibles à la modalité comme ancres sémantiques pour acheminer des caractéristiques hétérogènes vers des réseaux d'experts à paramètres disjoints, atténuant ainsi les conflits intermodaux et résolvant les goulets d'étranglement. Pour assurer un transfert stable des connaissances, un planificateur dynamique de température basé sur un retour adaptatif régule l'intensité de la distillation en fonction des signaux par époque. Ce design asymétrique confine les opérations multimodales intensives à l'enseignant hors ligne, laissant le modèle étudiant en ligne avec une structure pure d'identificateur très efficace. Des expériences étendues sur trois ensembles de données de référence démontrent que ProMoE-DTS améliore le Recall@20 de 2,24% à 3,96% par rapport aux meilleures bases, tout en ne nécessitant que 3,28% à 3,55% des paramètres de l'enseignant.

Keywords

Recommandation multimodale;Distillation des connaissances (KD);Réglage de prompt;Mélange d'experts (MoE);Planification dynamique de la température

READ MORE

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website