Obwohl das Transformer-Modell in mehreren Bereichen bemerkenswerte Erfolge gezeigt hat, beschränken seine enormen Rechen- und Speicheranforderungen seine Anwendung, insbesondere bei der Bereitstellung auf ressourcenbeschränkten Edge-Geräten. Quantisierung als eine effektive Methode zur Modellkomprimierung kann die Laufzeit des Transformers auf Edge-Geräten deutlich reduzieren. Bemerkenswert ist, dass im Vergleich zu Convolutional Neural Networks (CNN) die Aktivierungswerte des Transformers deutlich ausgeprägtere Ausreißer aufweisen, was zu einer ungleichmäßigen Verteilung der Merkmale zwischen verschiedenen Kanälen und Tokens führt. Zur Bewältigung dieses Problems wird eine adaptive Ausreißerkorrektur-Quantisierungsmethode (AOCQ) vorgeschlagen, die die negativen Auswirkungen dieser Ausreißer signifikant verringert. AOCQ passt die erheblichen Unterschiede zwischen Kanälen und Tokens auf drei Ebenen an: Operator-Ebene; Rahmen-Ebene; Verlust-Ebene. Es wird ein neuartiger Operator eingeführt, der die Aktivierungswerte zwischen Kanälen äquivalent ausgleicht, und auf Rahmenebene wird eine zusätzliche Phase hinzugefügt, um den Quantisierungsschritt der Aktivierungen zu optimieren. Darüber hinaus wird auf Verlustebene das Ungleichgewicht der Aktivierungswerte zwischen Tokens und Kanälen in den Optimierungsprozess der Modellgewichte übertragen. Theoretische Analysen zeigen, dass diese Methode den Quantisierungsfehler effektiv verringern kann. Die Wirksamkeit der vorgeschlagenen Methode wurde an mehreren Benchmark-Modellen und Aufgaben validiert. Nach der 8-Bit-Post-Training-Quantisierung erreicht das DeiT-B-Modell eine Genauigkeit von 81,57 % bei einem Verlust von nur 0,28 Prozentpunkten und erzielt gleichzeitig eine vierfache Beschleunigung der Inferenz. Außerdem können in mehreren Aufgaben, darunter Bildklassifikation und Objekterkennung, die Gewichte des Swin Transformer und DeiT auf 4 Bit nach dem Training quantisiert werden, wobei der Genauigkeitsverlust nur 2 % beträgt und der benötigte Speicher nur ein Achtel des Originals beträgt.

Transformer;Modellkomprimierung und Beschleunigung;Post-Training-Quantisierung;Ausreißer