على الرغم من أن نموذج Transformer قد أظهر أداءً ملحوظًا في مجالات متعددة، إلا أن متطلباته الكبيرة من الحساب والذاكرة تقيّد تطبيقه، لا سيما عند نشره على الأجهزة الطرفية ذات الموارد المحدودة. الكميّة كطريقة فعالة لضغط النماذج يمكنها تقليل وقت تشغيل Transformer على الأجهزة الطرفية بشكل كبير. ومن الجدير بالذكر، بالمقارنة مع الشبكات العصبية الالتفافية (CNN)، أن قيم التنشيط في Transformer تظهر وجود قيم شاذة أكثر وضوحًا، مما يؤدي إلى توزيع غير متساوٍ للميزات بين القنوات والرموز. لمواجهة هذه المشكلة، تم اقتراح طريقة تصحيح الكميات ذات القيم الشاذة التكيفية (AOCQ)، التي تقلل بشكل كبير من التأثيرات السلبية لهذه القيم الشاذة. تقوم AOCQ بضبط الاختلافات الملحوظة بين القنوات والرموز على ثلاثة مستويات: على مستوى المشغل؛ مستوى الإطار؛ ومستوى الخسارة. تم تقديم مشغل جديد قادر على موازنة قيم التنشيط بين القنوات بشكل مكافئ، وتم إضافة مرحلة إضافية على مستوى الإطار لتحسين خطوات كميّة التنشيط. بالإضافة إلى ذلك، على مستوى الخسارة، يتم نقل عدم توازن قيم التنشيط بين الرموز والقنوات إلى عملية تحسين أوزان النموذج. تظهر التحليلات النظرية أن هذه الطريقة يمكنها تقليل خطأ الكميّة بشكل فعال. لقد تم التحقق من فعالية الطريقة المقترحة على عدة نماذج ومهام قياسية. بعد كميّة ما بعد التدريب ذات 8 بت، حقق نموذج DeiT-B دقة تبلغ 81.57% مع فقدان دقة لا يتجاوز 0.28 نقطة مئوية، إلى جانب تحقيق تسريع بحجم 4 أضعاف في الاستدلال. علاوة على ذلك، في مهام متعددة بما في ذلك تصنيف الصور واكتشاف الأجسام، يمكن تدريب أوزان Swin Transformer وDeiT على الكميّة إلى 4 بت مع خسارة دقة تبلغ فقط 2%، في حين أن الذاكرة المطلوبة تصبح ثمن الذاكرة الأصلية فقط (1/8).

Transformer;ضغط وتسريع النماذج;الكميّة بعد التدريب;قيم شاذة