Previous
|
Next
TimeJudge:ビデオ大規模言語モデルに基づくビデオ要約の時系列一貫性ゼロショット検出
Yangliu HU
,
Zikai SONG
,
Junqing YU
,
Yiping Phoebe CHEN
,
Wei YANG
,
DOI:
10.1631/FITEE.2500412
Abstract
ビデオ大規模言語モデル(video-LLM)はマルチモーダル理解において優れた能力を示すが、ビデオ要約の時系列一貫性ゼロショット評価における潜在力は十分に活用されていない。既存の方法は、主要な時系列誤り(動作の欠落、幻覚、順序の混乱など)の検出に限界がある。これに対し、本稿は二つの主要な貢献を行う:(1)時系列誤り検出を校正された二元質問応答タスクの集合に再構築し、モーダル感度の信頼度校正メカニズムと一貫性加重投票戦略を導入して堅牢な結果集約を実現する革新的ゼロショットフレームワークTimeJudgeを提案;(2)4つの動作複雑度レベルを含むビデオを網羅するベンチマークデータセットTEDBenchを精緻に構築し、このタスクにおけるvideo-LLMの性能を体系的に評価するための細粒度な時系列誤りアノテーションを提供。実験結果は、TimeJudgeが複数の先進的なvideo-LLMで時系列誤り検出のリコール率とF1スコアを大幅に向上させ、特定のタスクに対する微調整を必要としないことを示す。本手法は、video-LLMの時系列審査能力向上のための汎用的かつ拡張可能、かつ訓練不要のソリューションを提供する。
Keywords
ビデオ大規模言語モデル(Video-LLM);マルチモーダル大規模言語モデル(MLLM);審査員としてのマルチモーダル大規模言語モデル;ビデオ要約;評価ベンチマーク
READ MORE