マルチモーダル推薦のためのデカップルドプロンプトガイド混合エキスパート動的蒸留機構

Lili WU ,  

Renmin ZHANG ,  

Bin ZHANG ,  

Jincheng ZHANG ,  

Xi CHEN ,  

Yingjing QIAN ,  

Abstract

マルチモーダル推薦は、視覚的特徴とテキスト特徴を活用してユーザーの嗜好モデルを豊かにすることを目的としています。しかし、高次元の事前学習特徴を統合することは、避けられない大きな計算コストをもたらします。知識蒸留は効果的なモデル圧縮戦略を提供しますが、既存のフレームワークは三つの相互に絡み合った課題に直面しています:低次元射影による表現ランクのボトルネック、共有融合空間によるクロスモーダル干渉、そして静的蒸留温度での固有の最適化不安定性。これらの問題を解決するために、本論文では動的温度スケジューリング機構を備えたデカップルドプロンプトガイド混合エキスパートフレームワーク—ProMoE-DTSを提案します。非対称な教師生徒アーキテクチャにおいて、教師モデルは知覚モダリティのソフトプロンプトを意味的なアンカーとして使用し、異種特徴をパラメータ排他的なエキスパートネットワークに独立してルーティングすることで、クロスモーダルの衝突を効果的に緩和し、ランクのボトルネックを打破します。知識の円滑な伝達を確保するために、本論文では逐次の訓練誤差信号に基づいて蒸留の強度を適応的に調整可能なフィードバック駆動型動的温度スケジューラを設計しました。この非対称設計により、重いマルチモーダル計算は完全にオフラインの教師側に限定され、オンライン展開される学生モデルは非常に効率的な純粋識別子構造のみを保持します。3つのベンチマークデータセットでの大規模な実験により、ProMoE-DTSは最新の最先端ベースラインモデルと比較してRecall@20指標を2.24%–3.96%向上させ、教師モデルのパラメータはわずか3.28%–3.55%しか必要としないことが示されました。

Keywords

マルチモーダル推薦;知識蒸留;プロンプトチューニング;混合エキスパートシステム;動的温度スケジューリング

READ MORE

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website