Abstract
대규모 딥 신경망 훈련은 종종 소프트웨어 및 하드웨어 장애 문제에 직면하며, 주요 장애 발생 시 전체 기계 재시작이 필요하여 훈련 시간이 크게 길어진다. 기존 체크포인트 저장 및 복구 방법은 이러한 주요 장애에 대응하지 못하는 경우가 있으며, 입출력 대역폭 제한으로 인해 저장 및 복구 속도가 느리다. FastCheck 프레임워크를 제안하여 병렬 전송 및 맞춤형 압축 기술을 통해 체크포인트 저장 및 복구 과정을 가속화한다. 먼저 FastCheck는 체크포인트 데이터를 분할하고 다중 노드에서 병렬로 체크포인트 저장 및 복구를 수행한다; 다음으로 가중치 증분 압축 및 모멘텀 인덱스 압축을 통해 체크포인트 크기와 오버헤드를 추가로 축소한다; 마지막으로 경량 합의 프로토콜을 사용하여 노드의 상태를 정확히 추적하고 장애 노드로의 체크포인트 데이터 전송을 방지한다. PyTorch에서 FastCheck를 구현하고 다양한 딥 뉴럴 네트워크 모델에서 두 가지 기본 솔루션과 비교 평가하였다. 실험 결과 FastCheck는 체크포인트 저장 시간을 최대 78.42% 단축하고 복구 시간을 최대 77.41% 줄였으며, 다양한 훈련 단계에서 지속적으로 시스템 효율을 향상시켰다.
Keywords
딥 신경망 모델; 주요 장애; 병렬 전송; 데이터 압축; 체크포인트 저장 및 복구