ビジュアルトランスフォーマー（ViT）は、さまざまな人工知能駆動のコンピュータビジョンアプリケーションで顕著な成功を収めています。しかし、ViTは計算とメモリの要求が高く、リソースが限られたエッジデバイスでの実用的な適用が制限されています。後処理量子化（PTQ）は少量のキャリブレーションデータを使用してモデル精度を低減させることで有望な解決策を提供しますが、過激な低ビット量子化は通常、性能の大幅な低下を引き起こします。この課題に対処するため、ビジュアルトランスフォーマー量子化向けの切断均等対数量子化器および漸進的ビット減衰再構成手法（TP-ViT）を提案します。本手法はViT専用に設計された革新的なPTQフレームワークであり、2つの主要な技術的貢献を含みます：（1）切断均等対数量子化器 — Softmax後の活性化における外れ値を効果的に処理し、量子化誤差を大幅に低減する新しい量子化手法；（2）ビット減衰最適化戦略 — 遷移重みを利用してビット精度を段階的に低下させ、極端な量子化条件下でもモデル性能を維持します。画像分類、物体検出、インスタンスセグメンテーションタスクでの包括的な実験により、TP-ViTは最先端のPTQ手法を凌駕し、特に挑戦的な3ビット量子化シナリオで優れた性能を示しました。3ビット量子化条件下において、本フレームワークはViT-smallモデルでTop-1精度を6.18ポイント向上させました。結果はTP-ViTの堅牢性と普遍性を検証し、エッジハードウェアにおけるViTモデルの効率的な展開への道を開きます。

ビジュアルトランスフォーマー;後処理量子化;ブロック再構成;画像分類;物体検出;インスタンスセグメンテーション