A High-Performance and Low-Resource Reconfigurable Hardware Implementation for Softmax in Transformer

计算机科学 变压器 计算机硬件 工程类 嵌入式系统 Softmax函数 电子工程 故障排除 电气工程 现场可编程门阵列 可重组计算
作者
Bang He,Bangxin Qin,Han Wang,Chenyang Dai,Lin Yang,Li Li,Yuxiang Fu
出处
期刊:IEEE Transactions on Very Large Scale Integration Systems [Institute of Electrical and Electronics Engineers]
卷期号:34 (9): 3070-3074
标识
DOI:10.1109/tvlsi.2026.3706708
摘要

The efficient implementation of the softmax is critical for optimizing transformer hardware accelerators. Unlike its role as a static, one-time classifier in convolutional neural networks (CNNs), softmax in transformers is core to achieving dynamic contextual awareness, generating attention weights that enable the model to focus on relevant information. Its high-frequency, large-scale execution across every layer makes the softmax a critical performance bottleneck, particularly when processing long sequences. Existing hardware implementations face two primary challenges: excessive resource consumption from the exponential (EXP) computation, and high latency induced by the softmax’s nonelementwise nature. This article proposes a domain-unified piecewise EXP approximation technique. This technique reduces the resource consumption of the EXP unit by 23% and its approximation error by 26%. Furthermore, the proposed design provides direct and efficient hardware-level support for the online softmax algorithm, significantly reducing latency. Under the TSMC 40-nm process, it achieves a$1.36\times $improvement in area-normalized throughput. On a Xilinx KCU116 FPGA, LUT-normalized throughput improves by$1.26\times $. Moreover, the proposed reconfigurable architecture substantially improves resource utilization. Finally, end-to-end evaluations confirm that the design strictly preserves native inference accuracy while delivering a notable 4.86% overall system-level latency reduction for Llama3-8B.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
123发布了新的文献求助10
1秒前
ewan2018完成签到,获得积分10
1秒前
DW的应助被受伤的绮山采纳,获得10
1秒前
烟花的应助被酷酷柚子采纳,获得10
1秒前
搜集达人的应助被酷酷柚子采纳,获得10
1秒前
研友_VZG7GZ的应助被酷酷柚子采纳,获得10
1秒前
大虫发布了新的文献求助10
2秒前
李二狗发布了新的文献求助20
2秒前
king发布了新的文献求助10
2秒前
勤劳的橘子完成签到,获得积分10
2秒前
3秒前
无花果的应助被FanLab采纳,获得10
3秒前
3秒前
JamesPei的应助被烟雨平生采纳,获得10
4秒前
刘欣桐完成签到 ,获得积分10
4秒前
agui完成签到 ,获得积分10
5秒前
zxc发布了新的文献求助10
5秒前
5秒前
Hello的应助被愉快的友绿采纳,获得10
6秒前
6秒前
6秒前
传奇3的应助被渣渣XM采纳,获得10
6秒前
彭于彦祖的应助被jc哥采纳,获得50
7秒前
7秒前
小二郎的应助被结实初兰采纳,获得10
8秒前
烧鸭饭发布了新的文献求助10
9秒前
三千弱水为君饮完成签到,获得积分10
9秒前
梅林渔夫发布了新的文献求助10
9秒前
Rainbow发布了新的文献求助10
9秒前
10秒前
不爱喝纯牛奶完成签到,获得积分10
10秒前
天天快乐的应助被迪迪张采纳,获得10
10秒前
10秒前
今后的应助被痞老板采纳,获得10
10秒前
10秒前
LV发布了新的文献求助10
11秒前
11秒前
Owen的应助被木子采纳,获得10
11秒前
诚心的志泽完成签到,获得积分10
11秒前
赵宇欣完成签到,获得积分10
12秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
Social Psychology in the Real World 600
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8181072
求助须知:如何正确求助?哪些是违规求助? 9571092
关于积分的说明 21816478
捐赠科研通 7777477
什么是DOI,文献DOI怎么找? 3433418
关于科研通互助平台的介绍 2557638
邀请新用户注册赠送积分活动 2479460