In den letzten Jahren hat das Multi-Label Zero-Shot Learning (ML-ZSL) aufgrund seiner Vielzahl potenzieller Anwendungen wie Bildannotation, Textklassifikation und Bioinformatik zunehmende Aufmerksamkeit erlangt. Die zentrale Herausforderung bei ML-ZSL besteht darin, mehrere Labels für ungesehene Klassen vorherzusagen, ohne dass beschriftete Trainingsdaten erforderlich sind, was im Gegensatz zu herkömmlichen überwachten Lernparadigmen steht. Bestehende Methoden sehen sich jedoch mehreren wesentlichen Herausforderungen gegenüber. Dazu gehören die erhebliche semantische Lücke zwischen unterschiedlichen Modalitäten, die einen effektiven Wissenstransfer erschwert, sowie die komplexen und meist komplizierten Beziehungen zwischen mehreren Labels, die eine sinnvolle und genaue Modellierung erschweren. Um diese Herausforderungen zu bewältigen, schlagen wir einen graph-unterstützten multimodalen Chain-of-Thought (GMCoT) Reasoning-Ansatz vor. Die vorgeschlagene Methode kombiniert die Stärken multimodaler großer Sprachmodelle mit graphbasierten Strukturen, was den im Multi-Label-Prädiktionsprozess involvierten Denkprozess erheblich verbessert. Erstens wird ein neuartiges multimodales Chain-of-Thought-Reasoning-Framework vorgestellt, das menschliches schrittweises Denken nachahmt, um Multi-Label-Vorhersagen zu erzeugen. Zweitens wird eine Technik zur Integration von Label-Graphen in den Denkprozess vorgestellt. Diese Technik ermöglicht die Erfassung komplexer semantischer Beziehungen zwischen Labels und verbessert so die Genauigkeit und Konsistenz der Multi-Label-Generierung. Umfassende Experimente auf Referenzdatensätzen zeigen, dass der vorgeschlagene GMCoT-Ansatz die neuesten Methoden im ML-ZSL übertrifft.

Chain-of-Thought;Multi-Label Zero-Shot Learning;Multimodales Reasoning;Großes Sprachmodell