비디오 대형 언어 모델(video-LLM)은 다중 모달 이해에서 뛰어난 능력을 보이지만, 비디오 요약 시퀀스 일관성 제로샷 평가에 대한 잠재력은 아직 충분히 탐색되지 않았다. 기존 방법은 주요 시퀀스 오류(예: 행동 누락, 환각 또는 순서 혼란) 감지에 제한적이다. 이에 본 논문은 두 가지 핵심 기여를 한다: (1) 시퀀스 오류 감지를 보정된 이진 질문응답 과제로 재구성하고 모달 민감 신뢰도 보정 메커니즘과 일관성 가중 투표 전략을 도입하여 안정적인 결과 집계를 실현하는 혁신적인 제로샷 프레임워크 TimeJudge를 제안; (2) 4단계 행동 복잡도를 포함한 비디오를 아우르는 벤치마크 데이터셋 TEDBench를 정밀 구축하고, 세밀한 시퀀스 오류 주석을 제공하여 video-LLM의 이 과제 수행 능력을 체계적으로 평가함. 실험 결과 TimeJudge는 여러 최첨단 video-LLM에서 시퀀스 오류 감지의 재현율과 F1 점수를 크게 향상시키며, 특정 과제에 대한 미세 조정 없이 동작함을 보였다. 이 방법은 video-LLM의 시퀀스 검토 능력 향상을 위한 범용적이고 확장 가능하며 학습이 필요 없는 솔루션을 제공한다.
Keywords
비디오 대형 언어 모델(Video-LLM); 다중 모달 대형 언어 모델(MLLM); 심판으로서의 다중 모달 대형 언어 모델; 비디오 요약; 평가 벤치마크