Контрастивное обучение привлекло широкое внимание, поскольку оно эффективно усиливает межмодальное выравнивание и взаимодополняемость информации в многомодальном кластеризации. Однако у существующих методов контрастивной многомодальной кластеризации есть две основные проблемы: (1) текущие методы обычно выполняют контрастивное обучение только на одной или двух стадиях и имеют неточные стратегии выбора негативных пар образцов. (2) большинство методов сосредоточены только на контрастивном обучении и игнорируют сохранение информации о согласованности. Для решения вышеуказанных задач мы предлагаем многосетевой контрастивный многомодальный кластерный фреймворк с сохранением согласованности. Во-первых, мы разрабатываем систематический фреймворк контрастивного обучения, который включает раннее, среднее и позднее контрастивное обучение между отдельными признаками, объединёнными признаками и кластерами соответственно, что улучшает семантическую целостность и точность информации объединённого представления. Во-вторых, мы предлагаем новую стратегию выбора негативных пар образцов для дифференцированного выбора правильной пары негативных образцов для каждого образца. В конце мы добавляем новый член потерь к позднему этапу контрастивного обучения, который впервые учитывает согласованность результатов кластеризации одного и того же образца под разными модальностями. Таким образом, по сравнению с базовой моделью, данный модуль улучшил точность в среднем на 7,4 процентных пункта. Кроме того, мы разработали модуль сохранения согласованности, чтобы обеспечить обучение модели информации каждой модальности без помех от модальностей высокого/низкого качества, что улучшает точность в среднем на 2,2 процентных пункта. Эксперименты, проведённые на нескольких многомодальных наборах данных, показывают, что точность нашего метода в среднем на 4,1 процентных пункта выше по сравнению со вторым лучшим методом многомодальной кластеризации, что доказывает отличный потенциал нашего подхода.

Многомодальная кластеризация;Контрастивное обучение;Сохранение согласованности;Выбор негативных образцов