大規模な深層ニューラルネットワークの訓練は、ソフトウェアおよびハードウェアの故障問題に直面することが多く、重大な故障が発生した場合はマシン全体の再起動が必要となり、訓練時間が大幅に延びる。既存のチェックポイント保存・復元方法の中には、このような重大な故障に対応できないものや、入出力帯域幅の制約によりチェックポイントの保存・復元速度が遅いものがある。FastCheckフレームワークを提案し、並列転送およびカスタマイズ圧縮技術によりチェックポイントの保存・復元プロセスを高速化する。まず、FastCheckはチェックポイントデータを分割し、複数ノードでの並列実行を利用してチェックポイントの保存・復元を行う。次に、重みの増分圧縮およびモーメンタムインデックス圧縮によりチェックポイントの規模とオーバーヘッドをさらに削減する。最後に、軽量合意プロトコルを採用してノードの健康状態を正確に追跡し、障害ノードへのチェックポイントデータの転送を回避する。PyTorch上でFastCheckを実装し、複数の深層ニューラルネットワークモデルで2つのベースライン手法と比較評価を行った。実験結果は、FastCheckがチェックポイント保存時間を最大78.42％、復元時間を最大77.41％短縮し、異なる訓練段階で継続的にシステム効率を向上させることを示した。

深層ニューラルネットワークモデル;重大故障;並列転送;データ圧縮;チェックポイント保存・復元