비주얼 트랜스포머(ViT)는 다양한 인공지능 기반 컴퓨터 비전 응용 분야에서 뛰어난 성과를 거두었습니다. 그러나 ViT는 높은 계산 및 메모리 요구량으로 인해 자원이 제한된 엣지 장치에서의 실용적인 적용이 제한됩니다. 소량의 보정 데이터를 사용하여 모델 정확도를 낮추는 후처리 양자화(PTQ)는 유망한 해결책을 제공하지만, 과도한 저비트 양자화는 성능 저하를 초래하는 경우가 많습니다. 이러한 도전에 대응하기 위해 시각적 트랜스포머 양자화를 위한 절단 균등 쌍 양자화기 및 점진적 비트 감쇠 재구성 방법(TP-ViT)이 제안되었습니다. 이 방법은 ViT에 특화된 혁신적인 PTQ 프레임워크로 두 가지 핵심 기술 기여를 포함합니다: (1) 절단 균등 쌍 양자화기 — Softmax 이후 활성화의 이상치를 효과적으로 처리하여 양자화 오차를 크게 줄이는 새로운 양자화 방법; (2) 비트 감쇠 최적화 전략 — 전이 가중치를 활용하여 비트 정밀도를 점진적으로 낮추어 극한 양자화 조건에서도 모델 성능을 유지합니다. 이미지 분류, 객체 검출, 인스턴스 분할 작업에서의 종합 실험 결과 TP-ViT는 최첨단 PTQ 방법에 비해 뛰어난 성능을 보였으며, 특히 도전적인 3비트 양자화 환경에서 두드러진 결과를 나타냈습니다. 3비트 양자화 조건에서 이 프레임워크는 ViT-small 모델에서 Top-1 정확도를 6.18%p 향상시켰습니다. 결과는 TP-ViT의 견고성과 범용성을 입증하며, 엣지 하드웨어 컴퓨터 비전 응용 분야에서 ViT 모델의 효율적인 배포를 위한 길을 열었습니다.

비주얼 트랜스포머;후처리 양자화;블록 재구성;이미지 분류;객체 검출;인스턴스 분할