SDPMP: Inference Acceleration of CNN Models in Heterogeneous Edge Environment

计算机科学 推论 GSM演进的增强数据速率 边缘计算 吞吐量 边缘设备 分拆(数论) 任务(项目管理) 推理机 管道(软件) 分布式计算 并行计算 人工智能 云计算 无线 组合数学 经济 操作系统 管理 程序设计语言 电信 数学
作者
Biao Han,Penglin Dai,Ke Li,Kangli Zhao,Xiaowei Lei
标识
DOI:10.1109/wccct60665.2024.10541524
摘要

The deployment of neural network models to edge devices for task inference is becoming increasingly common. However, due to network bandwidth and computing capability limitations, a single edge device is often insufficient to meet the inference delay requirements of computation-intensive tasks and continuous inference tasks with high load demands. To address this issue, we propose an efficient collaborative distributed inference acceleration framework that offloads tasks to multiple edge devices for parallel execution. The framework takes into account the speed of inference performed by heterogeneous edge devices and combines the principles of pipeline parallelism and the partial dependence characteristics of CNN intra-layer partitions. It also performs intelligent inter-layer and intra-layer partitions to maximize the throughput of continuous task inference and meet the requirements of low single task inference delay. We propose self-adaptive dynamic programming for model partition algorithm (SDPMP) to achieve this. Simulation results indicate that our proposed strategy significantly improves throughput compared to other classical algorithms.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
酒酒完成签到,获得积分10
刚刚
Tia完成签到 ,获得积分10
刚刚
1秒前
Dawn完成签到,获得积分10
1秒前
科研通AI6.3的应助被清辉影采纳,获得10
1秒前
在水一方的应助被fortuna采纳,获得10
1秒前
2秒前
2秒前
文艺紫菜发布了新的文献求助10
3秒前
kinsley完成签到,获得积分10
3秒前
3秒前
Lucas的应助被punch采纳,获得10
3秒前
傢誠发布了新的文献求助10
3秒前
3秒前
快乐的鱼发布了新的文献求助10
4秒前
orixero的应助被zhz采纳,获得10
4秒前
4秒前
zz发布了新的文献求助10
5秒前
所所的应助被PEITON采纳,获得10
6秒前
jun完成签到,获得积分10
6秒前
qiaobbbbb发布了新的文献求助10
7秒前
章绝施发布了新的文献求助10
7秒前
cc发布了新的文献求助10
7秒前
66666发布了新的文献求助30
7秒前
7秒前
petrichor完成签到,获得积分10
8秒前
charles完成签到,获得积分10
9秒前
星辰大海的应助被123采纳,获得10
9秒前
9秒前
SciGPT的应助被平凡的一天采纳,获得10
9秒前
纯真的梦竹完成签到,获得积分10
10秒前
kinsley发布了新的文献求助10
11秒前
11秒前
Merkuro发布了新的文献求助10
11秒前
12秒前
12秒前
12秒前
爆米花的应助被charles采纳,获得10
12秒前
12秒前
13秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8187592
求助须知:如何正确求助?哪些是违规求助? 9575705
关于积分的说明 21842471
捐赠科研通 7785407
什么是DOI,文献DOI怎么找? 3435057
关于科研通互助平台的介绍 2559461
邀请新用户注册赠送积分活动 2481952