具备合适教师的多出口自蒸馏

孙武杰; 陈德仿; 王灿; 叶德仕; 冯雁; 陈纯

doi:10.1631/FITEE.2200644

Your Location：

Home >

Browse articles >

具备合适教师的多出口自蒸馏

常规文章 | Updated：2024-04-29

- 具备合适教师的多出口自蒸馏
- Multi-exit self-distillation with appropriate teachers
- “一项关于多出口架构的研究取得重要进展，该架构通过早期停止推理来降低计算成本，适用于资源受限的环境。研究团队将多出口架构与自我蒸馏相结合，实现了在不同网络深度下同时保持高效能与良好性能的目标。然而，现有方法主要依赖深层出口或单一集成来传递知识，导致学生和教师之间的学习差距可能损害模型性能，尤其在浅层出口。为解决这一问题，研究团队提出了名为“MATE”的多出口自我蒸馏方法，为每个出口提供多样化和合适的教师知识。在MATE中，通过赋予不同权重，从所有出口中生成多个集成教师。每个出口从所有教师中获取知识，同时主要关注其主教师，以保持有效的知识传递和适当的学习差距。这种方法不仅增加了知识蒸馏的多样性，还确保了学习效率。实验结果显示，在CIFAR-100、TinyImageNet和三个细粒度数据集上，MATE在多种网络架构下均优于目前最先进的多出口自我蒸馏方法。这一研究为资源受限环境中的高效模型设计提供了新的解决方案，并为多出口架构和自我蒸馏的结合研究开辟了新方向。”
- 信息与电子工程前沿（英文） 2024年25卷第4期页码：585-599
- Affiliations：
  
  College of Computer Science and Technology, Zhejiang University, Hangzhou 310000, China
- Author bio：
  
  †E-mail: sunwujie@zju.edu.cn
  ‡Corresponding author
- Funds：
  
  National Natural Science Foundation of China(U1866602);Starry Night Science Fund of Zhejiang University Shanghai Institute for Advanced Study, China(SN-ZJU-SIAS-001)
- DOI：10.1631/FITEE.2200644
  中图分类号： TP181
- 收稿：2022-12-16，
  
  录用：2023-07-04，
  
  纸质出版：2024-04-0
- Accepted：
Scan QR Code
孙武杰, 陈德仿, 王灿, 等. 具备合适教师的多出口自蒸馏[J]. 信息与电子工程前沿（英文）, 2024,25(4):585-599.

Wujie SUN, Defang CHEN, Can WANG, et al. Multi-exit self-distillation with appropriate teachers[J]. Frontiers of Information Technology & Electronic Engineering, 2024, 25(4): 585-599.
孙武杰, 陈德仿, 王灿, 等. 具备合适教师的多出口自蒸馏[J]. 信息与电子工程前沿（英文）, 2024,25(4):585-599. DOI： 10.1631/FITEE.2200644.

Wujie SUN, Defang CHEN, Can WANG, et al. Multi-exit self-distillation with appropriate teachers[J]. Frontiers of Information Technology & Electronic Engineering, 2024, 25(4): 585-599. DOI： 10.1631/FITEE.2200644.

浏览量

304

Downloads

CSCD

文章被引用时，请邮件提醒。

Submit

工具集

关联资源

Knowledge distillation for financial large language models: a systematic review of strategies, applications, and evaluation

Prototype-guided cross-task knowledge distillation

Federated learning on non-IID and long-tailed data via dual-decoupling

Federated mutual learning: a collaborative machine learning method for heterogeneous data, models, and objectives

Forget less, count better: a domain-incremental self-distillation learning benchmark for lifelong crowd counting

具备合适教师的多出口自蒸馏

Multi-exit self-distillation with appropriate teachers

DOI：10.1631/FITEE.2200644