대형 언어 모델(LLM)은 탁월한 자연어 처리 및 생성 능력을 바탕으로 다양한 분야에서 널리 활용되고 있다. 하지만 LLM은 때때로 사실과 모순되는 내용, 즉 이른바 환각을 생성하는데, 이는 실제 환경에서의 적용에 큰 도전 과제를 제기한다. LLM의 신뢰성을 높이기 위해 생성 과정 중 환각 현상을 탐지하는 것이 매우 중요하다. 환각 탐지에 흔히 사용되는 방법으로는 외부 지식을 확보하거나 모델 내부 상태를 점검하는 방법이 있으나, 이는 LLM에 대한 백박스 접근 권한이나 신뢰할 수 있는 전문가 지식 자원에 의존해야 하므로 최종 사용자에게 높은 진입 장벽이 존재한다. 이러한 문제를 해결하기 위해, 우리는 다중 관점 일관성 검증에 기반한 블랙박스 무자원 탐지 방법을 제안하여 LLM의 환각 현상을 식별한다. 이 방법은 질의와 응답의 다중 관점 일관성 점수를 융합하여 LLM의 과도한 자신감 문제를 효과적으로 완화한다. 단일 관점에 의존하는 탐지 방법과 비교하여, 본 방법은 여러 데이터셋과 다양한 LLM에서 더 우수한 환각 탐지 성능을 보여준다. 특히 LLM 환각률이 94.7%인 실험 환경에서 단일 관점 일관성 방법 대비 평균 정확도(B-ACC)를 2.3%포인트 향상시키고 0.832의 곡선 아래 영역(AUC)을 달성했으며, 전 과정에 걸쳐 어떠한 외부 자원도 의존하지 않았다.

대형 언어 모델(LLM); LLM 환각 탐지; 일관성 검증; LLM 안전성