최근 몇 년간 대규모 언어 모델은 다양한 자연어 처리 과제에서 뛰어난 성능을 보여주고 있습니다. 그러나 하드웨어 일시적 결함의 빈도가 증가함에 따라 대규모 언어 모델에서 조용한 데이터 손상 문제가 점점 더 두드러져 출력 품질과 사용자 경험에 큰 피해를 주고 있습니다. 기존의 주요 보호 방안은 주로 하드웨어 지원 알고리즘 수준 내결함성 또는 모델 일부 층의 경계 기반 온라인 내결함성 방법에 의존합니다. 그러나 이러한 방법들은 종종 엄격한 하드웨어 의존성, 높은 성능 부담 또는 결함 커버리지 불완전 등의 문제를 가지고 있습니다. 이러한 한계를 극복하기 위해 본문에서는 추가 하드웨어 지원이 필요 없는 고장 인지 추론 방법 RetryTrigger를 제안하여 다양한 일시적 결함에 포괄적으로 대응합니다. 대규모 언어 모델 추론 과정에서 RetryTrigger는 최대 확률, top-k 확률 차이, 출력 엔트로피, logits 통계 정보 및 추론 지연 시간과 같은 런타임 출력 특성을 동적으로 수집하고, 이러한 특성을 LightGBM 메타모델에 입력하여 판단합니다. 이 메타모델은 재추론 트리거 필요 여부를 정확히 예측하여 추가 하드웨어에 의존하지 않고 추론 효율성과 결함 완화라는 이중 보장을 실현합니다. 본문은 7종의 대표 대규모 언어 모델(T5-Small, RoBERTa, BioMedBERT, Qwen2.5-Coder-0.5B/7B, MiniMind, Opt 포함)에서 대규모 실험을 수행했으며, 결과는 RetryTrigger가 조용한 데이터 손상률을 최대 95.33%(평균 92.97%)까지 감소시키고, 성능 오버헤드는 최소 2.4012%(평균 4.1167%)임을 보여줍니다. 기존 최첨단 솔루션과 비교했을 때, 이 방법은 신뢰성과 추론 효율성 간 더 나은 균형을 구현합니다.

대규모 언어 모델;시스템 복원력;지능형 결함 감지;추론 재계산;일시적 결함