使用申威人工智能加速器的控制单元最小化Transformer推理开销

赵玉龙; 吴春志; 王一卓; 张鲁飞; 张亚光; 沈文渊; 范昊; 方韩康; 秦亦; 刘鑫

doi:10.1631/FITEE.2400453

Your Location：

Home >

Browse articles >

使用申威人工智能加速器的控制单元最小化Transformer推理开销

常规文章 | Updated：2025-05-06

- 使用申威人工智能加速器的控制单元最小化Transformer推理开销
- Minimizing transformer inference overhead using controlling element on Shenwei AI accelerator
- “在自然语言处理领域，本研究解决了变压器模型中的计算开销挑战。专家研究人员开发了一个三层调度框架和零拷贝内存管理技术，为优化变压器模型和提高人工智能加速器的推理效率奠定了基础。”
- 信息与电子工程前沿(英文版) 2025年26卷第4期页码：605-622
- Affiliations：
  
  1.State Key Laboratory of Mathematical Engineering and Advanced Computing, Wuxi 214000, China
  2.School of Non-Commissioned Officer, Space Engineering University, Beijing 100004, China
  3.National Supercomputing Center in Wuxi, Wuxi 214000, China
  4.Zhejiang Lab, Hangzhou 310000, China
  5.National Research Centre of Parallel Computer Engineering and Technology, Beijing 100081, China
- Author bio：
  
  E-mail: zhaoyl04@163.com
  ‡Corresponding author
- Funds：
- DOI：10.1631/FITEE.2400453
  中图分类号： TP181
- 收稿日期：2024-05-28，
  
  修回日期：2024-08-25，
  
  纸质出版日期：2025-04
- Accepted：
Scan QR Code
赵玉龙, 吴春志, 王一卓, 等. 使用申威人工智能加速器的控制单元最小化Transformer推理开销[J]. 信息与电子工程前沿(英文版), 2025,26(4):605-622.

Yulong ZHAO, Chunzhi WU, Yizhuo WANG, et al. Minimizing transformer inference overhead using controlling element on Shenwei AI accelerator[J]. Frontiers of information technology & electronic engineering, 2025, 26(4): 605-622.
赵玉龙, 吴春志, 王一卓, 等. 使用申威人工智能加速器的控制单元最小化Transformer推理开销[J]. 信息与电子工程前沿(英文版), 2025,26(4):605-622. DOI： 10.1631/FITEE.2400453.

Yulong ZHAO, Chunzhi WU, Yizhuo WANG, et al. Minimizing transformer inference overhead using controlling element on Shenwei AI accelerator[J]. Frontiers of information technology & electronic engineering, 2025, 26(4): 605-622. DOI： 10.1631/FITEE.2400453.

浏览量

Downloads

CSCD

文章被引用时，请邮件提醒。

Submit

工具集

关联资源

暂无数据

使用申威人工智能加速器的控制单元最小化Transformer推理开销

Minimizing transformer inference overhead using controlling element on Shenwei AI accelerator

DOI：10.1631/FITEE.2400453