Визуальный трансформер (ViT) добился значительных успехов в различных задачах компьютерного зрения, управляемых искусственным интеллектом. Однако ViT требует высоких вычислительных ресурсов и памяти, что ограничивает его практическое применение на устройствах с ограниченными ресурсами на периферии. Несмотря на то, что пост-тренировочная квантизация (PTQ) предоставляет перспективное решение, снижая точность модели с помощью небольшого количества калибровочных данных, агрессивная низкобитная квантизация часто приводит к значительному снижению производительности. Для решения этой проблемы предложен усечённый равномерный парный квантизатор и прогрессивный метод восстановления с битовым затуханием для визуальных трансформеров (TP-ViT). Этот метод представляет собой инновационную PTQ-рамку, специально разработанную для ViT, включающую два ключевых технических вклада: (1) усечённый равномерный парный квантизатор — новая методика квантизации, эффективно обрабатывающая выбросы после активации Softmax, значительно снижая ошибку квантизации; (2) стратегия оптимизации битового затухания — использующая переходные веса для постепенного снижения битовой точности, сохраняя при этом производительность модели при экстремальной квантизации. Комплексные эксперименты по задачам классификации изображений, обнаружения объектов и сегментации экземпляров показывают превосходство TP-ViT над современными методами PTQ, особенно в трудных условиях 3-битной квантизации. При 3-битной квантизации данная рамка обеспечивает повышение точности Top-1 на модели ViT-small на 6,18 процентных пункта. Результаты подтверждают устойчивость и универсальность TP-ViT, прокладывая путь для эффективного развёртывания моделей ViT в приложениях компьютерного зрения на периферийных устройствах.

визуальный трансформер; пост-тренировочная квантизация; блочное восстановление; классификация изображений; обнаружение объектов; сегментация экземпляров