O Transformer Visual (ViT) alcançou notável sucesso em várias aplicações de visão computacional impulsionadas por inteligência artificial. No entanto, o ViT demanda altos recursos de computação e memória, limitando sua aplicação prática em dispositivos de borda com recursos restritos. Embora a quantização pós-treinamento (PTQ), que utiliza uma pequena quantidade de dados de calibração, reduza a precisão do modelo e ofereça uma solução promissora, a quantização agressiva de baixo bit geralmente leva a uma queda significativa no desempenho. Para enfrentar esse desafio, foi proposto o quantizador par uniforme truncado e o método progressivo de reconstrução por atenuação de bits (TP-ViT) para quantização de Transformers Visuais. Esse método é uma estrutura inovadora de PTQ projetada especificamente para ViT, contendo duas contribuições técnicas principais: (1) quantizador par uniforme truncado — um novo método de quantização que trata efetivamente os valores atípicos nas ativações após o Softmax, reduzindo significativamente o erro de quantização; (2) estratégia de otimização de atenuação de bits — utiliza pesos de transição para diminuir gradualmente a precisão de bits, mantendo o desempenho do modelo em condições extremas de quantização. Experimentos abrangentes nas tarefas de classificação de imagens, detecção de objetos e segmentação de instâncias demonstram que o TP-ViT supera os métodos PTQ mais avançados, especialmente nos desafiadores cenários de quantização de 3 bits. Em condições de quantização de 3 bits, essa estrutura alcançou uma melhoria de 6,18 pontos percentuais na precisão Top-1 no modelo ViT-small. Os resultados validam a robustez e a universalidade do TP-ViT, abrindo caminho para a implantação eficiente de modelos ViT em aplicações de visão computacional em hardware de borda.

Transformer Visual;quantização pós-treinamento;reconstrução por blocos;classificação de imagens;detecção de objetos;segmentação de instâncias