Previous
|
Next
多視点一貫性検証に基づく大規模言語モデルの幻覚検出:ブラックボックス無リソース手法
Linggang KONG
,
Xiaofeng ZHONG
,
Jie CHEN
,
Haoran FU
,
Yongjie WANG
,
DOI:
10.1631/FITEE.2500180
Abstract
大規模言語モデル(LLM)は、その卓越した自然言語処理・生成能力により、さまざまな分野で広く利用されている。しかし、LLMは時折、事実と矛盾する内容、いわゆる幻覚を生成することがあり、現実の場面での応用において重大な課題となっている。LLMの信頼性を向上させるためには、生成過程で幻覚現象を検出することが重要である。幻覚検出によく用いられる方法には、外部知識の取得やモデル内部の状態を確認する手法があるが、これにはLLMへのホワイトボックスアクセスや信頼できる専門知識リソースへの依存が必要であり、エンドユーザーにとってはハードルが高い。これらの課題を解決するために、我々は多視点一貫性検証に基づくブラックボックス無リソース検出手法を提案し、LLMの幻覚現象を識別する。この手法は、クエリと応答の多視点一貫性スコアを融合することで、LLMの過剰な自信問題を効果的に緩和する。単一視点に依存する検出方法と比較して、本手法は複数のデータセットおよび異なるLLMにおいてより優れた幻覚検出性能を示している。特に、LLMの幻覚率が94.7%である実験シナリオにおいて、単視点一貫性手法に比べて平均精度(B-ACC)を2.3ポイント向上させ、曲線下面積(AUC)0.832を達成し、全過程でいかなる外部リソースも必要としなかった。
Keywords
大規模言語モデル(LLM);LLM幻覚検出;一貫性検証;LLM安全性
READ MORE