Bien que le modèle Transformer ait démontré des performances significatives dans plusieurs domaines, ses importantes exigences en calcul et en mémoire limitent son application, en particulier lors du déploiement sur des périphériques à ressources limitées. La quantification, en tant que méthode efficace de compression des modèles, peut réduire considérablement le temps d'exécution du Transformer sur ces périphériques. Il convient de noter que, comparativement aux réseaux de neurones convolutionnels (CNN), les valeurs d'activation du Transformer présentent des valeurs aberrantes plus marquées, entraînant une distribution inégale des caractéristiques entre différents canaux et tokens. Pour remédier à ce problème, une méthode de quantification adaptative avec correction des valeurs aberrantes (AOCQ) est proposée, réduisant significativement les effets négatifs de ces valeurs. AOCQ ajuste les différences marquées entre canaux et tokens à trois niveaux : opérateur ; cadre ; perte. Une nouvelle opération est introduite, capable d'équilibrer équitablement les valeurs d'activation entre les canaux, et une étape supplémentaire est ajoutée au niveau du cadre pour optimiser le processus de quantification des activations. De plus, au niveau de la perte, le déséquilibre des valeurs d'activation entre tokens et canaux est transféré dans le processus d'optimisation des poids du modèle. L'analyse théorique montre que cette méthode réduit efficacement l'erreur de quantification. L'efficacité de la méthode proposée a été validée sur plusieurs modèles et tâches de référence. Après une quantification post-entraînement en 8 bits, le modèle DeiT-B atteint une précision de 81,57% avec une perte de seulement 0,28 point de pourcentage, tout en réalisant une accélération de l'inférence par 4. Par ailleurs, dans plusieurs tâches, notamment la classification d'images et la détection d'objets, les poids des modèles Swin Transformer et DeiT peuvent être quantifiés post-entraînement à 4 bits, avec une perte de précision de seulement 2%, tandis que la mémoire nécessaire n'est qu'1/8 de l'originale.

Transformer;compression et accélération de modèles;quantification post-entraînement;valeurs aberrantes