대형 언어 모델은 많은 언어 작업에서 우수한 성능을 보이지만, 문화 기반의 상징적 추론에서는 여전히 도전 과제에 직면하고 있다. 기존 벤치마크는 문화 내 상징 이해, 문화 간 상징 정렬, 문화 간 갈등 인식을 포함하는 점진적 능력 사슬을 체계적으로 평가하지 않는다. 이러한 공백을 메우기 위해 대형 언어 모델의 문화 간 이해 능력을 평가하기 위한 체계적인 벤치마크 CCU-Bench가 제안되었다. 호프스테드 문화 차원 이론을 기반으로 CCU-Bench는 중국, 일본, 멕시코의 서로 다른 세 문화적 맥락에 초점을 맞추며 이미지, 내포, 감정의 세 차원을 다룬다. 본 벤치마크는 데이터 수집 및 선별, 질문 및 답변 생성, 품질 관리의 세 단계로 구축되어 3029개의 고품질 문답 쌍과 5가지 유형의 문항을 포함하는 평가 집합을 완성하였다. 19개의 주요 대형 언어 모델 실험 결과 기존 모델은 문화 간 이해 과제에서 평균 57.8% 점수로 만족스럽지 않은 성과를 보였다. 폐쇄형 모델이 오픈소스 모델보다 전반적으로 더 나은 성능을 보였으며, 문화 간 상징 정렬이 가장 도전적인 하위 과제였다. 추가 오류 분석에서는 실패 원인이 단순한 지침 준수 문제가 아니라 문화 지식 부족, 의도 매핑 편향, 문화 간 갈등에 대한 고차원 추론 능력 부족에 있음을 밝혀내었다. 이러한 발견은 현재 대형 언어 모델이 문화적 근거 추론에서 한계가 있음을 부각하며 CCU-Bench가 문화 인지 인공지능 연구를 위한 표준화된 벤치마크 플랫폼을 제공할 수 있음을 입증한다.

벤치마크; 대형 언어 모델; 문화 간 이해; 대형 언어 모델 평가 및 벤치마크