マルチモーダルクラスタリングタスクにおいて、クロスモーダルアライメントと情報の補完性を効果的に強化できるため、コントラスト学習は広く注目されている。しかし、既存のコントラスト学習に基づくマルチモーダルクラスタリング手法には二つの主要な欠点がある：（1）既存手法は単一または二段階でのみコントラスト学習を実施でき、ネガティブサンプルペアの選択戦略の精度が不十分である；（2）ほとんどの手法はコントラスト学習にのみ注力し、モーダルの一貫性情報の保持制約を軽視している。これら二つの問題に対応するため、一貫性保持型の多段階コントラストマルチモーダルクラスタリングフレームワークを提案する。まず、単一表現、融合特徴、クラスタ群において前期—中期—後期の漸進的コントラスト学習を行う体系的な階層型コントラスト学習体系を構築し、融合表現の意味的完全性と情報忠実性を向上させる。次に、各サンプルに対して差異化された正確なネガティブサンプルペアをマッチング可能な新しいネガティブサンプルペア選択戦略を提案する。最後に、後期のコントラスト学習に新しい損失項を導入し、同一サンプルが異なるモーダルでクラスタリングした結果の一貫性を最適化目標に初めて組み込む。したがって、ベースラインモデルと比較して、本モジュールの精度は平均7.4ポイント向上した。さらに、モデルが各モーダル情報を学習し、高品質／低品質モーダルの干渉を回避できる一貫性保持モジュールを設計し、精度を平均2.2ポイント向上させた。複数のマルチモーダルデータセット上での実験により、提案手法は第２位のマルチモーダルクラスタリング手法と比較して平均4.1ポイント高い精度を達成し、本手法の良好な応用・研究展望を示した。

マルチモーダルクラスタリング;コントラスト学習;一貫性保持;ネガティブサンプル選択