Nos últimos anos, grandes modelos de linguagem têm demonstrado desempenho excepcional em diversas tarefas de processamento de linguagem natural. No entanto, com o aumento das falhas transitórias de hardware, o problema da corrupção silenciosa de dados em grandes modelos de linguagem tornou-se mais proeminente, afetando significativamente a qualidade de saída e a experiência do usuário. As soluções de proteção existentes baseiam-se principalmente em tolerância a falhas a nível algorítmico assistida por hardware ou em métodos de tolerância a falhas online, orientados pelos limites de algumas camadas do modelo. Contudo, esses métodos frequentemente apresentam forte dependência de hardware, alto custo de desempenho ou cobertura incompleta de falhas. Para superar essas limitações, este artigo propõe um método inovador de inferência tolerante a falhas, sem necessidade de suporte adicional de hardware, chamado RetryTrigger, que aborda de forma abrangente diversos tipos de falhas transitórias. Durante o processo de inferência do grande modelo de linguagem, o RetryTrigger coleta dinamicamente características de saída em tempo de execução (como probabilidade máxima, diferença de probabilidade top-k, entropia da saída, estatísticas de logits e latência da inferência) e as alimenta a um meta-modelo LightGBM para determinação. Esse meta-modelo pode prever com precisão se é necessário acionar uma nova tentativa de inferência, alcançando assim um equilíbrio entre a eficiência da inferência e a mitigação de falhas, sem depender de hardware adicional. Foram realizados diversos experimentos em 7 modelos representativos de grandes modelos de linguagem (incluindo T5-Small, RoBERTa, BioMedBERT, Qwen2.5-Coder-0.5B/7B, MiniMind e Opt), e os resultados indicam que o RetryTrigger pode reduzir a taxa de corrupção silenciosa de dados em até 95,33 % (redução média de 92,97 %), ao mesmo tempo que mantém um custo mínimo de desempenho de 2,4012 % (média de 4,1167 %). Em comparação com soluções de ponta existentes, este método consegue um melhor equilíbrio entre confiabilidade e eficiência da inferência.

grandes modelos de linguagem;resiliência do sistema;detecção inteligente de falhas;reexecução da inferência;falhas transitórias