Os grandes modelos de linguagem de vídeo (video-LLM) demonstram notáveis capacidades em compreensão multimodal, mas seu potencial na avaliação zero-shot da consistência temporal de resumos de vídeo ainda não foi plenamente explorado. Os métodos existentes apresentam limitações na detecção de erros temporais críticos (como ausência de ações, alucinações ou desordem na sequência). Para isso, este artigo fornece duas contribuições principais: (1) propõe uma estrutura inovadora zero-shot chamada TimeJudge, que reconstrói a detecção de erros temporais como um conjunto de tarefas binárias calibradas de perguntas e respostas, introduzindo um mecanismo de calibração de confiança sensível ao modal e uma estratégia de votação ponderada por consistência para realizar uma agregação robusta dos resultados; (2) constrói cuidadosamente um conjunto de dados de referência TEDBench, abrangendo vídeos com 4 níveis de complexidade de ação, fornecendo anotações detalhadas de erros temporais para uma avaliação sistemática do desempenho dos video-LLM nesta tarefa. Os resultados experimentais mostram que o TimeJudge melhora significativamente a taxa de recall e a pontuação F1 na detecção de erros temporais em vários video-LLM avançados, sem necessidade de ajuste específico para a tarefa. Este método oferece uma solução geral, escalável e sem treinamento para melhorar a capacidade de revisão temporal dos video-LLM.

Grandes modelos de linguagem de vídeo (Video-LLM); modelos multimodais de linguagem grande (MLLM); modelos multimodais como juízes; resumos de vídeo; benchmark de avaliação