다중 모달 군집화 과제에서 모달 간 정렬과 정보 상호 보완 특성을 효과적으로 강화할 수 있기 때문에, 대조 학습이 널리 주목받고 있다. 그러나 기존의 대조 학습 기반 다중 모달 군집화 방법에는 두 가지 핵심 결함이 존재한다: (1) 기존 방법은 단일 또는 두 단계에서만 대조 학습을 수행할 수 있으며, 음성 표본 쌍 선정 전략의 정확도가 부족하다; (2) 대다수 방법이 대조 학습에만 집중하고 모달 일관성 정보 보존 제약을 간과한다. 위 두 가지 문제를 해결하기 위해 일관성 유지를 위한 다단계 대조 다중 모달 군집화 프레임워크를 제안한다. 우선, 단일 표현, 융합 특징, 군집 클러스터에서 초기-중간-후기 단계로 점진적 대조 학습을 수행하는 체계적인 계층적 대조 학습 체계를 구축하여 융합 표현의 의미 완전성과 정보 보존도를 향상시킨다. 다음으로, 각 표본에 대해 차별화된 정확한 음성 표본 쌍을 매칭할 수 있는 새로운 음성 표본 쌍 선정 전략을 제시한다. 마지막으로 후기 대조 학습 단계에서 동일 샘플이 다른 모달에서 군집한 결과의 일관성을 최적화 목표에 처음으로 포함하는 새로운 손실 항을 도입한다. 따라서, 기준 모델과 비교하여 이 모듈의 정확도가 평균 7.4%포인트 향상되었다. 또한, 모델이 각 모달 정보를 학습하고 고품질/저품질 모달의 방해를 회피할 수 있도록 하는 일관성 유지 모듈을 설계하여 정확도를 평균 2.2%포인트 추가로 향상시켰다. 다중 다중 모달 데이터셋에서 수행된 실험 결과, 제안된 방법은 2위 다중 모달 군집화 방법에 비해 평균 정확도가 4.1%포인트 높아 우수한 응용 및 연구 전망을 입증하였다.

다중 모달 군집화; 대조 학습; 일관성 유지; 음성 표본 선택