近年、マルチラベルゼロショット学習（ML-ZSL）は、画像注釈、テキスト分類、バイオインフォマティクスなどの幅広い潜在的応用により、ますます注目を集めています。ML-ZSLの中心的な課題は、従来の教師あり学習パラダイムとは異なり、ラベル付けされた訓練データを必要とせずに見えないクラスに対して複数のラベルを予測することにあります。しかし、既存の方法はいくつかの重要な課題に直面しています。これには、異なるモダリティ間の大きな意味的ギャップが含まれ、効果的な知識転送を妨げ、多数のラベル間の複雑で一般的に複雑な関係があり、それらを意味のある正確な方法でモデル化するのが困難です。これらの課題を克服するために、我々はグラフ強化型マルチモーダルチェインオブソート推論（GMCoT）アプローチを提案します。本手法は、多モーダル大規模言語モデルの強みとグラフベースの構造を組み合わせ、多ラベル予測に関わる推論プロセスを大幅に強化します。まず、人間のような段階的推論を模倣してマルチラベル予測を生成する新しいマルチモーダルチェインオブソート推論フレームワークを提示します。次に、推論プロセスにラベルグラフを統合する技術を提示します。この技術により、ラベル間の複雑な意味的関係を捉え、多ラベル生成の精度と一貫性を向上させます。ベンチマークデータセットでの包括的な実験により、提案されたGMCoTアプローチがML-ZSLにおける最先端手法を上回ることを実証しました。

チェインオブソート;マルチラベルゼロショット学習;マルチモーダル推論;大規模言語モデル