Como pode fortalecer efetivamente o alinhamento entre modalidades e as características de complementaridade da informação em tarefas de agrupamento multimodal, o aprendizado contrastivo tem recebido ampla atenção. No entanto, os métodos de agrupamento multimodal baseados em aprendizado contrastivo existentes apresentam duas falhas centrais: (1) os métodos atuais só podem realizar o aprendizado contrastivo em uma ou duas etapas, e a estratégia de seleção de pares de amostras negativas não é suficientemente precisa; (2) a grande maioria dos métodos foca apenas no aprendizado contrastivo, negligenciando a restrição de preservação da consistência modal. Para enfrentar essas duas dificuldades, propõe-se uma estrutura de agrupamento multimodal por múltiplas etapas com preservação da consistência. Primeiramente, constrói-se um sistema hierárquico sistemático de aprendizado contrastivo, realizando aprendizado contrastivo progressivo nas representações individuais, nas características fundidas e nos agrupamentos de clusters nas fases inicial, intermediária e final, a fim de melhorar a completude semântica e a fidelidade da informação das representações fundidas. Em segundo lugar, propõe-se uma nova estratégia de seleção de pares negativos, que pode corresponder de forma diferenciada e precisa pares negativos para cada amostra. Por fim, na fase final do aprendizado contrastivo, é introduzido um novo termo de perda que, pela primeira vez, incorpora a consistência dos resultados de agrupamento da mesma amostra em diferentes modalidades como objetivo de otimização. Portanto, comparado ao modelo base, a precisão deste módulo aumentou em média 7,4 pontos percentuais. Além disso, foi projetado um módulo de preservação da consistência para garantir que o modelo possa aprender as informações de cada modalidade, evitando interferências de modalidades de alta/baixa qualidade, aumentando a precisão média em 2,2 pontos percentuais. Experimentos em vários conjuntos de dados multimodais demonstram que, em comparação com o segundo melhor método de agrupamento multimodal, o método proposto apresenta uma precisão média 4,1 pontos percentuais maior, comprovando seu bom potencial para aplicações e pesquisas.

agrupamento multimodal; aprendizado contrastivo; preservação da consistência; seleção de amostras negativas