Los modelos de lenguaje grandes destacan en muchas tareas lingüísticas, pero aún enfrentan desafíos en el razonamiento simbólico basado en la cultura. Las pruebas de referencia existentes no evalúan sistemáticamente la cadena progresiva de capacidades necesarias para la comprensión intercultural, que incluye la comprensión de símbolos culturales internos, la alineación de símbolos entre culturas y la identificación de conflictos interculturales. Para llenar este vacío, se propone un benchmark sistemático para evaluar la capacidad de comprensión intercultural de los grandes modelos de lenguaje — CCU-Bench. Basado en la teoría de dimensiones culturales de Hofstede, CCU-Bench se centra en tres contextos culturales diferentes: China, Japón y México, y abarca tres dimensiones: imágenes, connotaciones y emociones. Este benchmark se construye en tres etapas: recopilación y filtrado de datos, generación de preguntas y respuestas y control de calidad, resultando en un conjunto de evaluación de alta calidad con 3029 pares de preguntas y respuestas que cubren cinco tipos de preguntas. Experimentos con 19 modelos de lenguaje populares muestran que los modelos actuales tienen un desempeño insatisfactorio en tareas de comprensión intercultural, con una puntuación promedio de solo 57.8%. Los modelos cerrados generalmente superan a los de código abierto, y la alineación de símbolos interculturales sigue siendo la subtarea más desafiante. Un análisis detallado de errores revela que las principales causas de falla son la falta de conocimiento cultural, sesgos en el mapeo de intenciones y la insuficiente capacidad para el razonamiento avanzado sobre conflictos interculturales, en lugar de simples problemas de seguimiento de instrucciones. Estos hallazgos destacan las limitaciones actuales de los modelos grandes en el razonamiento fundamental cultural y demuestran que CCU-Bench puede proporcionar una plataforma de prueba estándar para la investigación en inteligencia artificial con sensibilidad cultural.

benchmark; grandes modelos de lenguaje; comprensión intercultural; evaluación y benchmark de grandes modelos de lenguaje