RetryTrigger:ハードウェア一過性故障に対応した大規模言語モデル向けインテリジェント推論再試行フォールトトレランス手法

Jiajia JIAO ,  

Yixu YU ,  

Abstract

近年、大規模言語モデルは各種自然言語処理タスクにおいて卓越した性能を示しています。しかし、ハードウェアの一過性故障の発生頻度が増加するにつれて、大規模言語モデルにおけるサイレントデータ破損の問題が顕著になり、出力品質やユーザー体験に大きな影響を与えています。既存の主流な保護手法は主にハードウェア支援のアルゴリズムレベルのフォールトトレランスや、モデルの特定層の境界駆動オンラインフォールトトレランス手法に依存しています。しかし、これらの手法はしばしばハードウェア依存が厳しい、高いパフォーマンスオーバーヘッド、故障カバレッジの不完全さなどの問題があります。これらの制約を克服するために、本稿では追加のハードウェアサポートを必要としない新規の故障感知推論手法であるRetryTriggerを提案し、あらゆる一過性故障に包括的に対応します。大規模言語モデル推論過程において、RetryTriggerは最大確率、top-k確率差、出力エントロピー、logits統計情報および推論遅延などの実行時出力特徴を動的に収集し、これらの特徴をLightGBMメタモデルに入力して判定を行います。本メタモデルは推論再試行のトリガー要否を正確に予測し、追加ハードウェアに依存せずに推論効率と故障緩和の両立を実現します。本稿ではT5-Small、RoBERTa、BioMedBERT、Qwen2.5-Coder-0.5B/7B、MiniMindおよびOptを含む7つの代表的大規模言語モデルで多数の実験を行い、RetryTriggerはサイレントデータ破損率を最大95.33%(平均92.97%)低減し、かつ性能オーバーヘッドを最低2.4012%(平均4.1167%)に抑えることを示しました。既存の最先端ソリューションと比較して、本手法は信頼性と推論効率の両者においてより優れたトレードオフを実現しています。

Keywords

大規模言語モデル;システムレジリエンス;インテリジェント障害検出;推論再計算;一過性故障

READ MORE