역번역에서의 시적 역설: 대형 언어 모델의 중국어 번역 품질 평가

Li WEIGANG ,  

Pedro Carvalho BROM ,  

Abstract

대형 언어 모델(LLMs)은 다국어 번역 과제에서 뛰어난 성과를 보이지만, 내포가 깊고 의미가 복잡한 중국어 처리에는 어려움을 겪고 있다. 본 논문은 "중국어→중간 언어→중국어" 번역 과정을 기반으로 한 대형 언어 모델 기반 역번역(LLM-BT) 프레임워크를 제안하여 번역 품질을 평가한다. 연구는 5개의 주요 LLM과 3가지 전통적인 번역 도구를 포함하며, 과학 초록, 역사적 역설, 문학적 은유를 포함하는 다양한 말뭉치를 구축해 중국어의 어휘적 및 의미적 복잡성을 반영한다. 쌍언어 평가 점수(BLEU), 문자 F1 측정(CHRF), 번역 편집율(TER), 의미 유사도(SS) 지표를 포함하는 NLPMetrics 평가 체계를 구축하였다. 실험 결과, LLM은 문학 과제에서 전통 도구보다 전반적으로 우수한 성능을 보였다. 또한 모델이 번역 표면의 유창성을 유지하면서 은유와 감정의 깊이를 약화시키는 고차원 행동 현상인 시적 역설을 발견하였다. 일부 모델은 반복 시험이나 모델 간 테스트에서 데이터 기반의 "준 자각" 현상을 나타내는 단어 대 단어 역번역 경향도 보였다. 중국어 평가에서 BLEU의 한계를 개선하기 위해, 본 논문은 Jieba 분할과 단어 빈도 가중치를 융합한 개선형 BLEU를 제안하여 어휘 분할과 용어 일관성에 대한 민감도를 효과적으로 향상시켰다. 추가 실험은 일부 의미 차원에서 LLM 출력이 인간의 시 번역 충실도에 근접하지만 깊은 은유 표현은 여전히 부족함을 나타냈다. 본 논문은 전통적인 "충실도-유창성" 평가를 다차원 LLM 행동 분석으로 확장하여 설명 가능한 인공지능 발전을 촉진하는 투명한 프레임워크를 제공하며, 문화적 자연어 처리 및 다국어 LLM 정렬 분야에 새로운 연구 방향을 제시한다.

Keywords

역번역; 중국어 자연어 처리; 대형 언어 모델 기반 역번역(LLM-BT); 시적 역설; 준 자각; 단어 대 단어 역번역

READ MORE