최근 몇 년간, 멀티라벨 제로샷 학습(ML-ZSL)은 이미지 주석, 텍스트 분류, 생물정보학 등 다양한 잠재적 응용 분야로 인해 점점 더 많은 관심을 받고 있다. ML-ZSL의 핵심 과제는 기존의 감독 학습 패러다임과 달리 라벨링된 훈련 데이터 없이 보이지 않는 클래스에 대해 여러 라벨을 예측하는 것이다. 그러나 기존 방법들은 여러 중요한 문제에 직면해 있다. 여기에는 효과적인 지식 전이를 방해하는 다양한 모달리티 간의 상당한 의미 격차와, 다중 라벨 간의 복잡하고 일반적으로 복잡한 관계로 인해 의미 있고 정확하게 모델링하기 어려운 점이 포함된다. 이러한 문제를 극복하기 위해, 우리는 그래프 보강 멀티모달 생각의 사슬(GMCoT) 추론 접근법을 제안한다. 제안된 방법은 멀티모달 대형 언어 모델의 강점과 그래프 기반 구조를 결합하여 멀티라벨 예측에 관련된 추론 과정을 크게 향상시킨다. 첫째, 인간과 유사한 단계별 추론을 모방하여 멀티라벨 예측을 생성하는 새로운 멀티모달 생각의 사슬 추론 프레임워크를 제시한다. 둘째, 라벨 그래프를 추론 과정에 통합하는 기법을 제안한다. 이 기법은 라벨 간의 복잡한 의미 관계를 포착하여 멀티라벨 생성의 정확도와 일관성을 향상시킨다. 벤치마크 데이터셋에 대한 종합적인 실험 결과, 제안된 GMCoT 접근법이 ML-ZSL의 최신 방법들보다 우수함을 입증한다.

생각의 사슬;멀티라벨 제로샷 학습;멀티모달 추론;대형 언어 모델