C-Transformer: An Energy-Efficient Homogeneous DNN-Transformer/SNN-Transformer Processor for Large Language Models

变压器 计算机科学 同种类的 电气工程 工程类 电压 物理 热力学
作者
Sangyeob Kim,Sangjin Kim,Wooyoung Jo,Soyeon Kim,Seongyon Hong,Nayeong Lee,Jungwan Lee,Hoi‐Jun Yoo
出处
期刊:IEEE Journal of Solid-state Circuits [Institute of Electrical and Electronics Engineers]
卷期号:60 (10): 3802-3815 被引量:4
标识
DOI:10.1109/jssc.2025.3554699
摘要

In this article, we propose a new language model processor named the C-Transformer to address the external memory bottleneck of language models. It consists of three key functional blocks: 1) homogeneous deep-neural-network (DNN)–Transformer/spiking-Transformer core (HDSC) with a hybrid multiplication/accumulation unit (HMAU) to enhance hardware utilization; 2) output spike speculation unit (OSSU) to increase the energy efficiency of spike-domain processing; and 3) implicit weight generation unit (IWGU) with extended sign compression (ESC) to eliminate the external memory bottleneck. The chip is fabricated in Samsung’s 28-nm 1P8M CMOS technology and operates at a supply voltage of 0.7–1.1 V with a maximum frequency of 200 MHz and supports various tasks such as language modeling, translation, and summarization. For models like generative pre-trained transformer 2 (GPT-2), multilingual text-to-text transfer transformer (mT5), text-to-text transfer transformer (T5), and FairSeq MachineTranslation (FSMT), the C-Transformer achieves 0.21×–0.33× computation energy and 0.37×–0.41× external memory access (EMA) energy compared to the baseline. Our chip demonstrates 13.6% lower energy consumption than the previous state-of-the-art, despite having 2.1× more parameters. Moreover, it consumes 63.8% less energy with a similar parameter size. The C-Transformer can complete various language model tasks with <1 s latency, notably FSMT in 0.09 s and GPT-2 in 0.656 s. By combining DNN–Transformer and Spiking-Transformer architectures, the C-Transformer enhances computational energy efficiency, eliminates external memory bottlenecks, and enables language models such as GPT-2 to achieve state-of-the-art performance on mobile devices.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刘奇发布了新的文献求助10
刚刚
1秒前
AAA完成签到,获得积分10
3秒前
学海无涯苦作舟完成签到,获得积分10
4秒前
领导范儿的应助被W sir采纳,获得10
4秒前
5秒前
英姑的应助被一叶一乾坤采纳,获得10
5秒前
5秒前
5秒前
banbb关注了科研通微信公众号
6秒前
6秒前
6秒前
小y同学发布了新的文献求助10
6秒前
JQing发布了新的文献求助10
6秒前
7秒前
vy67完成签到,获得积分10
7秒前
晨曦发布了新的文献求助10
8秒前
科研通AI6.3的应助被踏实凡桃采纳,获得10
9秒前
研友_xLOlVn完成签到,获得积分10
9秒前
9秒前
10秒前
vy67发布了新的文献求助10
11秒前
彭于晏的应助被tlc_191026采纳,获得30
11秒前
lnx发布了新的文献求助10
11秒前
彭于晏的应助被和蔼的茅草根采纳,获得10
11秒前
12秒前
DDUP发布了新的文献求助10
12秒前
秋风的应助被111采纳,获得10
12秒前
简单一江完成签到,获得积分10
13秒前
13秒前
可乐乐发布了新的文献求助10
14秒前
14秒前
秋风的应助被jsu采纳,获得10
15秒前
Zn完成签到,获得积分10
15秒前
Maestro_S的应助被master采纳,获得10
16秒前
lmy的应助被李麟采纳,获得100
16秒前
爆米花的应助被李麟采纳,获得10
16秒前
一叶一乾坤完成签到,获得积分10
17秒前
18秒前
大富婆发布了新的文献求助10
19秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
Improving the wear resistance of vehicle gear oil by oil soluble LaF3 nanoparticles and typical additives of gear oil 500
Boundaries and Bodhisattvas 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8183423
求助须知:如何正确求助?哪些是违规求助? 9572834
关于积分的说明 21827410
捐赠科研通 7780522
什么是DOI,文献DOI怎么找? 3434016
关于科研通互助平台的介绍 2558189
邀请新用户注册赠送积分活动 2480357