Ces dernières années, l'apprentissage zéro-shot multi-label (ML-ZSL) a suscité un intérêt croissant en raison de sa large gamme d'applications potentielles, telles que l'annotation d'images, la classification de textes et la bioinformatique. Le défi central du ML-ZSL réside dans la prédiction de plusieurs étiquettes pour des classes non vues sans nécessiter de données d'entraînement étiquetées, ce qui contraste avec les paradigmes classiques d'apprentissage supervisé. Cependant, les méthodes existantes rencontrent plusieurs défis importants. Ceux-ci incluent le fossé sémantique important entre différentes modalités, qui entrave le transfert efficace des connaissances, ainsi que les relations complexes et généralement sophistiquées entre plusieurs étiquettes, rendant leur modélisation difficile de manière pertinente et précise. Pour surmonter ces défis, nous proposons une approche de raisonnement en chaîne de pensée multimodale augmentée par graphe (GMCoT). La méthode proposée combine la puissance des grands modèles de langage multimodaux avec des structures basées sur les graphes, améliorant significativement le processus de raisonnement impliqué dans la prédiction multi-étiquette. Premièrement, un nouveau cadre de raisonnement en chaîne de pensée multimodale est présenté, imitant le raisonnement humain étape par étape pour produire des prédictions multi-étiquettes. Deuxièmement, une technique est présentée pour intégrer des graphes d'étiquettes dans le processus de raisonnement. Cette technique permet de capturer les relations sémantiques complexes entre les étiquettes, améliorant ainsi la précision et la cohérence de la génération multi-étiquette. Des expériences complètes sur des ensembles de données de référence démontrent que l'approche GMCoT proposée surpasse les méthodes de pointe en ML-ZSL.

Chaîne de pensée;Apprentissage zéro-shot multi-étiquette;Raisonnement multimodal;Grand modèle de langage