Destilación dinámica de mezcla de expertos guiada por indicaciones desacoplada para recomendación multimodal

Lili WU ,  

Renmin ZHANG ,  

Bin ZHANG ,  

Jincheng ZHANG ,  

Xi CHEN ,  

Yingjing QIAN ,  

Abstract

La recomendación multimodal tiene como objetivo enriquecer la modelación de preferencias aprovechando características visuales y textuales. Sin embargo, la integración de características preentrenadas de alta dimensionalidad introduce una sobrecarga computacional sustancial. Mientras que la destilación del conocimiento proporciona una estrategia efectiva de compresión, los marcos existentes enfrentan tres desafíos entrelazados: cuellos de botella de rango causados por proyecciones de baja dimensión, interferencia entre modalidades inducida por espacios de fusión compartidos, e inestabilidad de optimización bajo temperaturas de destilación estáticas. Para abordar estos problemas, proponemos ProMoE-DTS, un marco de mezcla de expertos guiado por indicaciones desacoplado con programación dinámica de temperatura. Usando una arquitectura asimétrica maestro-estudiante, el modelo maestro aprovecha indicaciones suaves conscientes de la modalidad como anclas semánticas para enrutar características heterogéneas hacia redes de expertos con parámetros disjuntos, aliviando así los conflictos entre modalidades y resolviendo los cuellos de botella de rango. Para asegurar una transferencia de conocimiento estable, un programador dinámico de temperatura impulsado por retroalimentación regula adaptativamente la intensidad de la destilación basada en señales por época. Este diseño asimétrico confina las operaciones multimodales intensivas al maestro desconectado, dejando al modelo estudiante en línea con una estructura basada únicamente en identificadores altamente eficiente. Experimentos extensos en tres conjuntos de datos de referencia demuestran que ProMoE-DTS mejora Recall@20 en un 2.24%–3.96% sobre las mejores bases, requiriendo solo entre 3.28% y 3.55% de los parámetros del maestro.

Keywords

Recomendación multimodal;Destilación del conocimiento (KD);Ajuste de indicaciones;Mezcla de expertos (MoE);Programación dinámica de temperatura

READ MORE

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website