Modelos de linguagem grandes têm desempenho excelente em muitas tarefas linguísticas, mas ainda enfrentam desafios no raciocínio simbólico baseado na cultura. Os benchmarks existentes não avaliam sistematicamente a cadeia progressiva de habilidades necessárias para a compreensão intercultural, que envolve a compreensão de símbolos culturais internos, o alinhamento de símbolos interculturais e a identificação de conflitos interculturais. Para preencher essa lacuna, é proposto um benchmark sistemático para avaliar a capacidade de compreensão intercultural dos grandes modelos de linguagem — CCU-Bench. Baseado na teoria das dimensões culturais de Hofstede, o CCU-Bench foca em três contextos culturais distintos — China, Japão e México — e aborda três dimensões: imagens, conotações e emoções. O benchmark é construído em três fases: coleta e filtragem de dados, geração de perguntas e respostas e controle de qualidade, resultando em um conjunto de avaliação de alta qualidade contendo 3029 pares de perguntas e respostas e abrangendo cinco tipos de perguntas. Experimentos com 19 modelos de linguagem populares demonstram que os modelos existentes apresentam desempenho insatisfatório nas tarefas de compreensão intercultural, com uma pontuação média de apenas 57,8%. Os modelos proprietários têm desempenho geral superior aos modelos de código aberto, e o alinhamento de símbolos interculturais continua sendo a sub-tarefa mais desafiadora. Análises adicionais de erros revelam que as principais causas das falhas são a falta de conhecimento cultural, viés no mapeamento de intenções e insuficiência na capacidade de raciocínio avançado sobre conflitos interculturais, e não simples problemas de seguimento de instruções. Essas descobertas ressaltam as limitações dos modelos grandes atuais no raciocínio baseado em fundamentos culturais e comprovam que o CCU-Bench pode fornecer uma plataforma de benchmark padronizada para a pesquisa em inteligência artificial sensível à cultura.

benchmark; grandes modelos de linguagem; compreensão intercultural; avaliação e benchmark de grandes modelos de linguagem