Nos últimos anos, o aprendizado zero-shot multi-rótulo (ML-ZSL) tem recebido atenção crescente devido à sua ampla gama de aplicações potenciais, como anotação de imagens, classificação de texto e bioinformática. O desafio central no ML-ZSL reside em prever múltiplos rótulos para classes não vistas sem a necessidade de dados de treinamento rotulados, o que contrasta com os paradigmas tradicionais de aprendizado supervisionado. No entanto, os métodos existentes enfrentam vários desafios significativos. Estes incluem a ampla lacuna semântica entre diferentes modalidades, que impede a transferência eficaz de conhecimento, e as relações complexas e geralmente intrincadas entre múltiplos rótulos, tornando difícil modelá-las de maneira significativa e precisa. Para superar esses desafios, propomos uma abordagem de raciocínio em cadeia de pensamento multimodal aumentada por gráfico (GMCoT). O método proposto combina as forças dos grandes modelos de linguagem multimodal com estruturas baseadas em gráficos, melhorando significativamente o processo de raciocínio envolvido na predição multi-rótulo. Primeiro, é apresentado um novo framework de raciocínio em cadeia de pensamento multimodal que imita o raciocínio passo a passo humano para produzir predições multi-rótulo. Segundo, é apresentada uma técnica para integrar gráficos de rótulos no processo de raciocínio. Essa técnica permite capturar relações semânticas complexas entre rótulos, melhorando assim a precisão e a consistência da geração multi-rótulo. Experimentos abrangentes em conjuntos de dados de referência demonstram que a abordagem GMCoT proposta supera os métodos de ponta em ML-ZSL.

Cadeia de pensamento;Aprendizado zero-shot multi-rótulo;Raciocínio multimodal;Grande Modelo de Linguagem