Characterizing Cloud-Native LLM Inference at Bytedance and Exposing Optimization Challenges and Opportunities for Future AI Accelerators

计算机科学 推论 人工智能 钥匙(锁) 系统工程 过程(计算) 工程类 鉴定(生物学) 背景(考古学) 工作(物理)
作者
Jingwei Cai,Dehao Kong,Hantao Huang,Zishan Jiang,Zixuan Ma,Qingyu Guo,Zhenxing Zhang,Guiming Shi,Mingyu Gao,Kaisheng Ma,Minghui Yu
出处
期刊:Proceedings [Institute of Electrical and Electronics Engineers]
卷期号:: 1-19 被引量:2
标识
DOI:10.1109/hpca68181.2026.11408526
摘要

As a major provider of LLM inference services, ByteDance has continuously explored diverse accelerator options to meet the rapidly growing inference demands of various heterogeneous LLM scenarios with higher cost-effectiveness, thereby enabling LLMs to serve more people worldwide. However, during this process, we have found that the complexity and opacity of cloud scenarios and corresponding cloud accelerators make it difficult for academia and many innovative chip startups to fully understand the real demands and challenges of these scenarios, which in turn severely restricts innovation and application potential in this field. To bridge this gap, we first present and analyze the data and characteristics of the ByteDance Doubao LLM app across multiple dimensions, helping the community understand real-world cloud scenarios, and detail the challenges and opportunities we have identified. Second, we propose and plan to open-source our multi-level evaluation framework, XPU-Perf, which includes benchmarks spanning instructions, operators, and models. This framework improves interpretability and trustworthiness, and helps promising new accelerator architectures gain wider adoption and development. Finally, we present comparative results of four typical accelerators, summarize their shortcomings and challenges, conduct in-depth analysis, and highlight numerous architectural and scheduling innovation opportunities we have observed.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
云然发布了新的文献求助10
刚刚
yolo完成签到 ,获得积分10
刚刚
鱼鱼鱼发布了新的文献求助10
刚刚
浅笑成风发布了新的文献求助30
刚刚
张朝阳发布了新的文献求助10
刚刚
路lu发布了新的文献求助10
刚刚
keke完成签到 ,获得积分10
刚刚
正直玲完成签到 ,获得积分10
1秒前
yungu完成签到,获得积分10
1秒前
Bambookiller完成签到,获得积分10
3秒前
3秒前
tzhang16完成签到 ,获得积分10
4秒前
炸薯条发布了新的文献求助10
4秒前
4秒前
小安发布了新的文献求助10
4秒前
科研通AI6.2的应助被细心斑马采纳,获得10
5秒前
Ly发布了新的文献求助10
5秒前
7秒前
9秒前
hannah发布了新的文献求助10
9秒前
酷波er的应助被xun采纳,获得10
9秒前
9秒前
9秒前
10秒前
bkagyin的应助被撒拉嘿呀噻采纳,获得10
11秒前
Liu发布了新的文献求助30
11秒前
畅快访蕊完成签到,获得积分20
12秒前
优美的梦岚的应助被木叶流2022采纳,获得10
13秒前
14秒前
wanci的应助被路lu采纳,获得10
14秒前
ghost完成签到,获得积分10
15秒前
研友_VZG7GZ的应助被机智宛亦采纳,获得10
16秒前
kiluto发布了新的文献求助10
17秒前
17秒前
17秒前
17秒前
LynShen完成签到 ,获得积分20
17秒前
20秒前
20秒前
科研通AI65的应助被Mortal采纳,获得10
20秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Agyptische Geschichte der 21.30. Dynastie 510
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8192723
求助须知:如何正确求助?哪些是违规求助? 9579144
关于积分的说明 21863903
捐赠科研通 7792268
什么是DOI,文献DOI怎么找? 3437013
关于科研通互助平台的介绍 2560633
邀请新用户注册赠送积分活动 2483864