VarioPath: Workload-Aware All-to-All Communication for PCIe GPU Clusters

PCI Express 计算机科学 延迟(音频) 调度(生产过程) 利用 关键路径法 低延迟(资本市场) 嵌入式系统 架空(工程) 软件部署 并行计算 推论 计算机网络 地铁列车时刻表 操作系统 分布式计算 实时计算 数据传输 现场可编程门阵列 向后兼容性 偏移量(计算机科学) 数字信号处理
作者
Yao Fei,Jin Fang,Size Zheng,Gongming Zhao,Hongli Xu,Jiacheng Zhu,Zhijing Xin
出处
期刊:Cornell University - arXiv [Cornell University]
标识
DOI:10.48550/arxiv.2609.34340
摘要

AlltoAllv communication is a critical primitive in distributed large-model inference, particularly for mixture-of-experts (MoE) models. The growing adoption of PCIe GPU systems for cost-efficient inference makes AlltoAllv performance on these systems increasingly important. Without a dedicated scale-up interconnect (e.g., NVLink or Infinity Fabric), PCIe GPU systems carry both intra-node and inter-node traffic through the PCIe hierarchy, where concurrent transfers can contend for PCIe link bandwidth. This link contention, compounded by skewed traffic distributions and dynamic traffic demand, makes efficient AlltoAllv scheduling challenging. Existing approaches are either poorly suited to PCIe GPU systems or incur substantial schedule synthesis overhead that reduces their practicality in real-world deployments. We present VarioPath, an efficient AlltoAllv scheduling framework for PCIe GPU systems. It combines an offline topology-aware analyzer with an online demand-aware scheduler. The analyzer records contention-free transfer patterns as AlltoAllv channels and exploits topology symmetry to build a compact catalog for efficient search. The online scheduler decomposes each AlltoAllv invocation's demand across a sequence of channels, adapting to rapidly changing and skewed traffic while incurring low planning overhead. Evaluation on four platforms (up to 256 GPUs) shows average AlltoAllv speedups of 5.88x over FAST and 1.72x over DeepEP. End-to-end experiments show that VarioPath reduces Qwen3 inference latency by up to 27.2% and Wan2.1 generation latency by 6.1%.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
英姑的应助被April采纳,获得10
1秒前
科研小白完成签到,获得积分10
1秒前
1秒前
2秒前
lllllll发布了新的文献求助10
3秒前
4秒前
4秒前
5秒前
5秒前
7秒前
时尚溪流完成签到,获得积分10
7秒前
orixero的应助被大佬打咯带带我采纳,获得10
8秒前
8秒前
mmma完成签到,获得积分10
9秒前
9秒前
9秒前
9秒前
9秒前
细心的盼易完成签到,获得积分10
9秒前
吴xl发布了新的文献求助10
9秒前
beibei发布了新的文献求助10
11秒前
小迪发布了新的文献求助10
11秒前
12秒前
Nole的应助被xiaoxioayixi采纳,获得10
12秒前
柯子完成签到,获得积分10
12秒前
13秒前
April发布了新的文献求助10
13秒前
CYJ的应助被V_采纳,获得10
13秒前
16秒前
调皮的醉山完成签到 ,获得积分10
16秒前
lin完成签到,获得积分10
16秒前
雪时晴完成签到,获得积分10
17秒前
852的应助被牛牛采纳,获得10
18秒前
bkagyin的应助被小迪采纳,获得10
19秒前
19秒前
2626完成签到 ,获得积分10
19秒前
关心发布了新的文献求助10
20秒前
小马甲的应助被魏同心采纳,获得10
20秒前
传奇3的应助被番茄米线儿采纳,获得10
22秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8193156
求助须知:如何正确求助?哪些是违规求助? 9579416
关于积分的说明 21865319
捐赠科研通 7792722
什么是DOI,文献DOI怎么找? 3437168
关于科研通互助平台的介绍 2560670
邀请新用户注册赠送积分活动 2483977