В последние годы многометочное обучение без учителя (ML-ZSL) привлекает всё большее внимание благодаря широкому спектру потенциальных приложений, таких как аннотирование изображений, классификация текстов и биоинформатика. Основная задача ML-ZSL заключается в прогнозировании нескольких меток для невидимых классов без использования размеченных обучающих данных, что отличается от традиционных методов контролируемого обучения. Однако существующие методы сталкиваются с несколькими серьёзными проблемами. Среди них значительный семантический разрыв между различными модальностями, затрудняющий эффективную передачу знаний, а также сложные и обычно запутанные взаимосвязи между несколькими метками, что затрудняет их значимое и точное моделирование. Для преодоления этих проблем мы предлагаем метод рассуждения на основе графа и цепочки мыслей с несколькими модальностями (GMCoT). Предложенный метод объединяет преимущества мультимодальных крупных языковых моделей и графовых структур, значительно улучшая процесс рассуждения при многометочной предсказательной задаче. Во-первых, представлен новый фреймворк рассуждения на основе цепочки мыслей с несколькими модальностями, имитирующий поэтапное мышление человека для создания многометочных предсказаний. Во-вторых, показана техника интеграции графов меток в процесс рассуждения. Эта техника позволяет захватывать сложные семантические отношения между метками, улучшая точность и согласованность многометочной генерации. Комплексные эксперименты на эталонных наборах данных показывают, что предложенный подход GMCoT превосходит современные методы в ML-ZSL.

Цепочка мыслей;Многометочное обучение без учителя;Мультимодальное рассуждение;Крупная языковая модель