Мультимодальные рекомендации направлены на обогащение моделирования предпочтений за счет использования визуальных и текстовых признаков. Однако интеграция высокоразмерных предварительно обученных признаков приводит к значительной вычислительной нагрузке. В то время как метод дистилляции знаний предоставляет эффективную стратегию сжатия, существующие рамки сталкиваются с тремя взаимосвязанными проблемами: узкими местами ранга, вызванными проекциями низкой размерности, межмодальными помехами, вызванными общими пространствами слияния, и нестабильностью оптимизации при статических температурах дистилляции. Для решения этих проблем мы предлагаем ProMoE-DTS — раздельный фреймворк смеси экспертов с управлением подсказками и динамическим планированием температуры. Используя асимметричную архитектуру учитель-студент, учительская модель использует контекстно-зависимые мягкие подсказки в качестве семантических якорей для маршрутизации разнородных признаков в экспертные сети с раздельными параметрами, тем самым уменьшая межмодальные конфликты и решая узкие места ранга. Для обеспечения стабильной передачи знаний адаптивный планировщик температуры на основе обратной связи регулирует интенсивность дистилляции на основе сигналов по эпохам. Эта асимметричная конструкция ограничивает интенсивные мультимодальные операции офлайн-учителем, оставляя онлайн-студентскую модель с высокоэффективной, чисто идентификаторной структурой. Обширные эксперименты на трех эталонных наборах данных показывают, что ProMoE-DTS улучшает Recall@20 на 2.24%–3.96% по сравнению с передовыми базовыми методами, при этом требуя лишь 3.28%–3.55% параметров учителя.

Мультимодальные рекомендации;Дистилляция знаний (KD);Тонкая настройка подсказок;Смесь экспертов (MoE);Динамическое планирование температуры