Mecanismo dinâmico de destilação híbrida de especialistas guiado por prompts desacoplados para recomendação multimodal

Lili WU ,  

Renmin ZHANG ,  

Bin ZHANG ,  

Jincheng ZHANG ,  

Xi CHEN ,  

Yingjing QIAN ,  

Abstract

A recomendação multimodal visa aproveitar características visuais e textuais para enriquecer a modelagem das preferências do usuário. No entanto, a integração de características pré-treinadas de alta dimensão inevitavelmente introduz um custo computacional significativo. Embora a destilação de conhecimento ofereça uma estratégia eficaz de compressão de modelos, os quadros existentes enfrentam três desafios interligados: o gargalo de posto de representação causado pela projeção de baixa dimensão, a interferência cruzada multimodal derivada do espaço de fusão compartilhado e a instabilidade inerente na otimização sob temperatura de destilação estática. Para resolver esses problemas, este artigo propõe um quadro de especialistas híbridos guiado por prompts desacoplados com um mecanismo dinâmico de agendamento de temperatura — ProMoE-DTS. Em uma arquitetura assimétrica professor-aluno, o modelo professor utiliza prompts suaves das modalidades perceptivas como âncoras semânticas para direcionar características heterogêneas independentemente para uma rede de especialistas com parâmetros mutuamente exclusivos, aliviando efetivamente o conflito multimodal e quebrando o gargalo de posto. Para garantir uma transferência de conhecimento suave, foi projetador um agendador dinâmico de temperatura orientado por feedback que pode ajustar adaptativamente a intensidade da destilação com base no sinal de erro de treinamento por rodada. Esse design assimétrico limita completamente o pesado cálculo multimodal no lado offline do professor, permitindo que o modelo aluno implantado online retenha apenas uma estrutura puramente identificadora extremamente eficiente. Experimentos extensivos em três conjuntos de dados de referência mostram que o ProMoE-DTS melhora em 2,24%–3,96% a métrica Recall@20 em comparação com os modelos base de última geração e ocupa apenas 3,28%–3,55% dos parâmetros do modelo professor.

Keywords

recomendação multimodal;destilação de conhecimento;ajuste de prompts;sistemas híbridos de especialistas;agendamento dinâmico de temperatura

READ MORE

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website