EQViTA: an End-To-End Quantized Vision Transformer Accelerator Implemented on Resource-Constrained FPGAs

计算机科学 现场可编程门阵列 变压器 嵌入式系统 工程类 计算机硬件 电气工程 电子工程 数字信号处理 人工智能 微控制器
作者
Jiacheng Cao,Jiaqi Guo,Wei Xiong,Huanlin Luo,Jian Wang,Jinmei Lai
出处
期刊: 卷期号:: 227-235 被引量:1
标识
DOI:10.1109/fpl68686.2025.00040
摘要

Vision Transformer (ViT) has achieved great success in computer vision tasks, and FPGA-based ViT inference acceleration has recently gained widespread attention. However, the massive number of parameters and intensive matrix computations make it challenging to accelerate ViT models on resource-constrained FPGAs. To address this challenge, prior works have explored ViT quantization and approximate implementations of non-linear operations, but significant hardware resource consumption and potential performance optimization opportunities remain. In this paper, we propose an end-to-end quantized ViT accelerator, EQViTA. Its multi-kernel architecture and time-multiplexed scheduling strategy enable efficient resource utilization and memory-friendly features. We customize designs for the key operators of ViTs. First, we compress the model using INT4 quantization and implement the dataflow of the quantized model through resource-optimized dequantization. Second, we eliminate the convolution hardware module by using the convolution-to-linear mapping, thereby reducing resource usage. Finally, we achieve low-cost and highly parallel acceleration of self-attention and linear transformations through efficient exponential approximation for softmax and an adaptive linear transformation engine. Experiments on the Xilinx ZCU106 FPGA show that compared with state-of-the-art works, EQViTA achieves$1.03 \times$to$8.64 \times$improvements in energy efficiency and$1.14 \times$to$18.6 \times$improvements in normalized throughput. Meanwhile, EQViTA significantly reduces LUT, FF, BRAM, and DSP resource consumption, making it more suitable for resource-constrained FPGAs. Compared to the full-precision DeiT-Tiny model implemented with PyTorch, the INT4 quantized model deployed on EQViTA exhibits a 5.93 % accuracy drop.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
土豆大王完成签到,获得积分10
1秒前
王大锤完成签到,获得积分10
1秒前
来份披萨完成签到,获得积分20
2秒前
3秒前
元吉的应助被拓跋平萱采纳,获得10
3秒前
3秒前
3秒前
七七发布了新的文献求助10
3秒前
漂亮无敌完成签到 ,获得积分20
4秒前
飞翔的昊子完成签到,获得积分10
4秒前
Azure发布了新的文献求助10
5秒前
5秒前
6秒前
7秒前
Atue发布了新的文献求助10
7秒前
Aboc发布了新的文献求助10
8秒前
Wynne发布了新的文献求助10
8秒前
Electrocatalysis完成签到,获得积分10
9秒前
科研通AI6.3的应助被tutu采纳,获得10
9秒前
9秒前
李健的应助被WSX采纳,获得10
9秒前
admire发布了新的文献求助10
10秒前
秋风的应助被草莓软糖采纳,获得10
10秒前
C.Cat的应助被科研肺物采纳,获得10
10秒前
万能图书馆的应助被科研肺物采纳,获得10
10秒前
Enron发布了新的文献求助10
10秒前
轻松珠发布了新的文献求助10
11秒前
11秒前
被风吹过的路的应助被flyzky采纳,获得10
12秒前
我是谁的应助被槑槑采纳,获得30
12秒前
啊啊啊发布了新的文献求助10
13秒前
qiaojunys发布了新的文献求助20
13秒前
14秒前
15秒前
zheng发布了新的文献求助10
15秒前
天天向上的应助被Elle采纳,获得10
17秒前
17秒前
Zuo完成签到 ,获得积分20
17秒前
无情的水蓉完成签到,获得积分10
18秒前
WangXingQuan发布了新的文献求助10
18秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
Grapes 1000
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8178521
求助须知:如何正确求助?哪些是违规求助? 9569377
关于积分的说明 21803750
捐赠科研通 7773465
什么是DOI,文献DOI怎么找? 3432844
关于科研通互助平台的介绍 2556838
邀请新用户注册赠送积分活动 2478444