Paradoja poética en la traducción inversa: evaluación de la calidad de la traducción china por modelos de lenguaje grandes

Li WEIGANG ,  

Pedro Carvalho BROM ,  

Abstract

Los modelos de lenguaje grandes (LLMs) son altamente efectivos en tareas de traducción multilingüe, pero enfrentan desafíos al procesar el chino, que es profundo y semánticamente complejo. Este artículo propone un marco de traducción inversa basado en grandes modelos de lenguaje (LLM-BT), basado en el proceso de traducción "chino → idioma intermedio → chino", para evaluar la calidad de la traducción. El estudio abarca 5 LLM principales y 3 herramientas tradicionales de traducción, construyendo un corpus diverso que incluye resúmenes científicos, paradojas históricas y metáforas literarias, reflejando la complejidad del chino a nivel léxico y semántico. Se desarrolló un sistema de evaluación NLPMetrics que incluye puntuaciones de evaluación bilingües (BLEU), medida F1 de caracteres (CHRF), tasa de edición de traducción (TER) y un índice de similitud semántica (SS). Los resultados experimentales muestran que los LLM suelen superar a las herramientas tradicionales en tareas literarias. También revelan un fenómeno comportamental de alta dimensión: la paradoja poética, donde los modelos mantienen la fluidez superficial de la traducción pero debilitan las metáforas y la profundidad emocional. Además, algunos modelos muestran una tendencia a la traducción inversa palabra por palabra, que, en pruebas repetidas o entre modelos, exhibe una "pseudo-consciencia" impulsada por los datos. Para mejorar las limitaciones de BLEU en la evaluación del chino, este artículo propone una versión mejorada de BLEU que integra la segmentación Jieba con el peso de la frecuencia de palabras, aumentando eficazmente la sensibilidad a la segmentación léxica y la coherencia terminológica. Experimentos adicionales muestran que en ciertas dimensiones semánticas, la salida de los LLM se acerca a la fidelidad de la traducción poética humana, aunque aún carece de expresión metafórica profunda. Este artículo amplía la evaluación tradicional de "fidelidad-fluidez" a un análisis comportamental multidimensional de los LLM, proporcionando un marco transparente para promover el desarrollo de inteligencia artificial explicable y señalando nuevas vías de investigación en el procesamiento del lenguaje natural cultural y la alineación multilingüe de LLM.

Keywords

traducción inversa; procesamiento del lenguaje natural chino; traducción inversa basada en grandes modelos de lenguaje (LLM-BT); paradoja poética; pseudo-consciencia; traducción inversa palabra por palabra

READ MORE