Os grandes modelos de linguagem (LLM), graças às suas excelentes capacidades de processamento e geração de linguagem natural, têm sido amplamente aplicados em diversos campos. No entanto, os LLMs às vezes geram conteúdos que contradizem os fatos, as chamadas alucinações, o que representa um desafio significativo para sua aplicação em cenários reais. Para aumentar a confiabilidade dos LLM, é crucial detectar a ocorrência de alucinações durante o processo de geração. Os métodos comuns para detectar alucinações incluem a obtenção de conhecimento externo ou a verificação do estado interno do modelo, mas isso requer acesso white-box ao LLM ou a dependência de recursos especialistas confiáveis, o que impõe uma barreira para os usuários finais. Para resolver esses desafios, propomos um método de detecção black-box e zero recurso baseado na verificação de consistência em múltiplas perspectivas para identificar as alucinações do LLM. Esse método, ao fundir as pontuações de consistência de múltiplas perspectivas entre consulta e resposta, mitiga eficazmente o problema da confiança excessiva do LLM. Em comparação com métodos que dependem de uma única perspectiva, nosso método apresenta melhor desempenho na detecção de alucinações em vários conjuntos de dados e diferentes LLMs. Vale destacar que, em um cenário experimental com taxa de alucinação de 94,7% em um LLM, nosso método aumentou a precisão média (B-ACC) em 2,3 pontos percentuais e alcançou área sob a curva (AUC) de 0,832, sem depender de qualquer recurso externo durante todo o processo.

Grandes modelos de linguagem (LLM); detecção de alucinações LLM; verificação de consistência; segurança LLM