En los últimos años, el aprendizaje zero-shot de múltiples etiquetas (ML-ZSL) ha ganado una atención creciente debido a su amplia gama de aplicaciones potenciales, como la anotación de imágenes, la clasificación de textos y la bioinformática. El reto central en ML-ZSL radica en predecir múltiples etiquetas para clases no vistas sin requerir datos de entrenamiento etiquetados, lo que contrasta con los paradigmas tradicionales de aprendizaje supervisado. Sin embargo, los métodos existentes enfrentan varios desafíos importantes. Estos incluyen la brecha semántica sustancial entre diferentes modalidades, que impide la transferencia eficaz de conocimientos, y las relaciones complejas y generalmente intrincadas entre múltiples etiquetas, lo que dificulta modelarlas de una manera significativa y precisa. Para superar estos desafíos, proponemos un enfoque de razonamiento en cadena de pensamiento multimodal aumentado con grafo (GMCoT). El método propuesto combina las fortalezas de los grandes modelos de lenguaje multimodal con estructuras basadas en grafos, mejorando significativamente el proceso de razonamiento involucrado en la predicción de múltiples etiquetas. Primero, se presenta un novedoso marco de razonamiento en cadena de pensamiento multimodal que imita el razonamiento paso a paso humano para generar predicciones de múltiples etiquetas. Segundo, se presenta una técnica para integrar gráficos de etiquetas en el proceso de razonamiento. Esta técnica permite capturar relaciones semánticas complejas entre etiquetas, mejorando así la precisión y consistencia de la generación de múltiples etiquetas. Experimentos exhaustivos en conjuntos de datos de referencia demuestran que el enfoque GMCoT propuesto supera a los métodos de vanguardia en ML-ZSL.

Cadena de pensamiento;Aprendizaje zero-shot multietiqueta;Razonamiento multimodal;Gran modelo de lenguaje