Scheduling LLM Inference with Uncertainty-Aware Output Length Predictions

安全性令牌 解码方法 计算机科学 调度(生产过程) 推论 算法 性能指标 地铁列车时刻表 随机过程 公制(单位) 概率分布 延迟(音频) 过程(计算) 分布(数学) 实时计算 源代码 统计推断 数学优化 简单(哲学)
作者
Haoyu Zheng,Yongqiang Zhang,Fangcheng Fu,Xiaokai Zhou,Hao Luo,Hongchao Zhu,Yuanyuan Zhu,Hao Wang,Xiao Yan,Jiawei Jiang
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:5
标识
DOI:10.48550/arxiv.2604.00499
摘要

To schedule LLM inference, the \textit{shortest job first} (SJF) principle is favorable by prioritizing requests with short output lengths to avoid head-of-line (HOL) blocking. Existing methods usually predict a single output length for each request to facilitate scheduling. We argue that such a \textit{point estimate} does not match the \textit{stochastic} decoding process of LLM inference, where output length is \textit{uncertain} by nature and determined by when the end-of-sequence (EOS) token is sampled. Hence, the output length of each request should be fitted with a distribution rather than a single value. With an in-depth analysis of empirical data and the stochastic decoding process, we observe that output length follows a heavy-tailed distribution and can be fitted with the log-t distribution. On this basis, we propose a simple metric called Tail Inflated Expectation (TIE) to replace the output length in SJF scheduling, which adjusts the expectation of a log-t distribution with its tail probabilities to account for the risk that a request generates long outputs. To evaluate our TIE scheduler, we compare it with three strong baselines, and the results show that TIE reduces the per-token latency by $2.31\times$ for online inference and improves throughput by $1.42\times$ for offline data generation.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
LEE发布了新的文献求助10
1秒前
xiayut发布了新的文献求助10
2秒前
2秒前
顺利完成签到,获得积分10
3秒前
Ryun完成签到,获得积分10
3秒前
4秒前
灰太狼发布了新的文献求助10
4秒前
内向的小凡完成签到,获得积分0
5秒前
科研通AI2S的应助被伶俐浩轩采纳,获得10
5秒前
大力思雁完成签到,获得积分10
6秒前
7秒前
shan发布了新的文献求助10
8秒前
小杰完成签到,获得积分10
8秒前
wangchaofk完成签到,获得积分10
8秒前
852的应助被新月采纳,获得10
8秒前
密密麻麻的完成签到 ,获得积分10
8秒前
9秒前
9秒前
wenz01完成签到,获得积分10
9秒前
shirleen完成签到,获得积分10
9秒前
10秒前
null的应助被Ryun采纳,获得10
10秒前
852的应助被ewmmel采纳,获得10
10秒前
yx完成签到,获得积分10
10秒前
我是老大的应助被JLW采纳,获得10
10秒前
LEE完成签到,获得积分10
10秒前
塔罗完成签到,获得积分10
12秒前
求田问舍发布了新的文献求助10
12秒前
12秒前
科研通AI6.4的应助被玖熙采纳,获得10
13秒前
禾几一鸣发布了新的文献求助10
14秒前
14秒前
打打的应助被shirleen采纳,获得10
14秒前
15秒前
沃德天sama完成签到,获得积分10
15秒前
16秒前
taotao完成签到,获得积分10
17秒前
张伟发布了新的文献求助10
17秒前
脑洞疼的应助被白糖采纳,获得10
18秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
John McDowells Bildungstheorie 800
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
Handbook of Pharmaceutical Excipients. 9th ed 400
Synthesis, Application and Future Perspectives of Smart Nano-materials - Part 1 400
Breaking the World 300
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8153710
求助须知:如何正确求助?哪些是违规求助? 9550475
关于积分的说明 21698625
捐赠科研通 7742521
什么是DOI,文献DOI怎么找? 3425571
关于科研通互助平台的介绍 2550735
邀请新用户注册赠送积分活动 2469211