大規模言語モデルは多くの言語タスクで優れた性能を示しているが、文化に基づく記号推論においては依然として課題が残っている。既存のベンチマークは、文化内記号の理解、異文化間の記号の整合、および文化間紛争の認識を含む、異文化理解に必要な段階的能力の連鎖を体系的に評価していない。このギャップを埋めるために、大規模言語モデルの異文化理解能力を評価するための体系的ベンチマーク「CCU-Bench」が提案された。ホフステードの文化次元理論に基づき、CCU-Benchは中国、日本、メキシコという3つの異なる文化的文脈に焦点を当て、画像、含意、感情の3つの次元で展開している。本ベンチマークは、データ収集と選別、質疑生成、品質管理の3段階を経て構築され、最終的に3029の質疑応答ペアと5種類の問題形式を含む高品質な評価セットを形成した。19の主要な大規模言語モデルを対象とした実験では、既存モデルが異文化理解タスクで満足のいく成果を上げられず、平均スコアはわずか57.8%であった。クローズドモデルは全体的にオープンソースモデルよりも良好な成績を示し、異文化間記号の整合が最も困難なサブタスクであった。さらに誤り分析を行ったところ、主な失敗要因は文化知識の不足、意図マッピングの偏り、および異文化紛争に関する高度な推論能力の不足であり、単なる指示の遵守問題ではなかった。これらの発見は、現行の大規模言語モデルが文化的基盤推論において限界を抱えていることを浮き彫りにし、CCU-Benchが文化認識AI研究のための標準化されたベンチマークプラットフォームを提供できることを証明している。

ベンチマーク;大規模言語モデル;異文化理解;大規模言語モデル評価とベンチマーク