Transformer 모델은 여러 분야에서 뛰어난 성과를 보여주었지만, 막대한 계산 및 메모리 요구 사항으로 인해 특히 자원이 제한된 엣지 장치에 배포할 때 적용에 제약이 있습니다. 양자화는 효과적인 모델 압축 방법으로, 엣지 장치에서 Transformer의 실행 시간을 크게 줄일 수 있습니다. 주목할 점은, 합성곱 신경망(CNN)과 비교할 때 Transformer의 활성 값들은 더 뚜렷한 이상치를 보이며, 이는 채널과 토큰 간의 특징 분포 불균형을 초래합니다. 이 문제를 해결하기 위해 적응형 이상치 보정 양자화(AOCQ) 방법이 제안되었으며, 이 방법은 이러한 이상치의 부정적 영향을 크게 줄입니다. AOCQ는 연산자 수준, 프레임워크 수준, 손실 수준의 세 가지 계층에서 채널과 토큰 간의 현저한 차이를 조정합니다. 서로 다른 채널 간 활성 값을 균등하게 조절할 수 있는 새로운 연산자가 도입되었으며, 프레임워크 수준에서는 활성 값 양자화 단계를 최적화하기 위한 추가 단계가 마련되었습니다. 또한 손실 수준에서는 각 토큰과 채널 간의 불균형한 활성 값이 모델 가중치 최적화 과정으로 이전됩니다. 이론적 분석 결과, 이 방법은 양자화 오차를 효과적으로 줄일 수 있음을 보여줍니다. 제안된 방법의 유효성은 다양한 벤치마크 모델 및 과제에서 검증되었습니다. 8비트 사후 훈련 양자화된 DeiT-B 모델은 정확도 손실이 단 0.28%포인트에 불과한 상황에서 81.57%의 정확도를 달성했으며, 추론 속도는 4배 빨라졌습니다. 또한 이미지 분류 및 객체 감지를 포함한 여러 과제에서 Swin Transformer와 DeiT의 가중치를 4비트로 사후 훈련 양자화할 수 있으며, 정확도 손실은 2%에 불과하고, 필요한 메모리는 원래의 1/8에 불과합니다.

Transformer;모델 압축 및 가속;사후 훈련 양자화;이상치