멀티모달 추천은 시각 및 텍스트 특징을 활용하여 사용자 선호 모델링을 풍부하게 하는 것을 목표로 합니다. 그러나 고차원 사전학습 특징을 통합하는 것은 불가피하게 상당한 계산 비용을 초래합니다. 지식 증류는 효과적인 모델 압축 전략을 제공하지만, 기존 프레임워크는 세 가지 상호 얽힌 문제에 직면해 있습니다: 저차원 투영으로 인한 표현 차수 병목 현상, 공유 융합 공간에서 발생하는 교차 모달 간섭, 그리고 정적 증류 온도에서 내재된 최적화 불안정성. 이러한 문제를 해결하기 위해 본 논문에서는 동적 온도 스케줄링 메커니즘을 갖춘 디커플드 프롬프트 기반 혼합 전문가 프레임워크—ProMoE-DTS를 제안합니다. 비대칭 교사-학생 구조에서 교사 모델은 지각 모달리티의 소프트 프롬프트를 의미적 앵커로 사용하여 이종 특징을 파라미터 상호 배타적인 전문가 네트워크로 독립 경로로 유도하여 교차 모달 충돌을 효과적으로 완화하고 차수 병목을 해소합니다. 지식의 원활한 전달을 위해 본 논문은 학습 오차 신호에 따라 증류 강도를 적응적으로 조절하는 피드백 기반 동적 온도 스케줄러를 설계했습니다. 이러한 비대칭 설계는 무거운 멀티모달 계산을 완전히 오프라인 교사 쪽에 제한하여 온라인 배포되는 학생 모델이 매우 효율적인 순수 식별자 구조만을 유지하도록 합니다. 세 가지 벤치마크 데이터셋에서의 광범위한 실험은 ProMoE-DTS가 최첨단 기준 모델 대비 Recall@20 지표를 2.24%–3.96% 향상시키면서도 교사 모델 파라미터의 3.28%–3.55%만을 차지한다는 것을 보여주었습니다.

멀티모달 추천;지식 증류;프롬프트 튜닝;혼합 전문가 시스템;동적 온도 스케줄링