标题 |
![]() Tango:异构边缘平台上的低延迟多DNN推理
相关领域
计算机科学
推论
延迟(音频)
低延迟(资本市场)
GSM演进的增强数据速率
计算机体系结构
计算机网络
人工智能
电信
|
网址 | |
DOI | |
其它 |
摘要: 在边缘平台上运行 DNN 应用程序以实现低延迟推理的需求越来越大。在资源受限的异构边缘平台上执行具有不同计算和延迟要求的多 DNN 工作负载,这带来了巨大的调度挑战。在这项工作中,我们提出了用于在异构边缘平台上编排多 DNN 推理的 Tango 框架。我们的方法使用基于近端策略的强化学习代理来联合优化集群选择、准确性配置和频率缩放,以最大限度地减少推理延迟和可容忍的准确性损失。我们将提议的 Tango 框架实现为可移植中间件,并将其部署在 Jetson TX 边缘平台的实际硬件上。我们对相关多 DNN 调度策略的评估表明,延迟降低了 61%,能耗降低了 48.4%,最大精度损失为 1.59%。 |
求助人 | |
下载 | 该求助完结已超 24 小时,文件已从服务器自动删除,无法下载。 |
温馨提示:该文献已被科研通 学术中心 收录,前往查看
科研通『学术中心』是文献索引库,收集文献的基本信息(如标题、摘要、期刊、作者、被引量等),不提供下载功能。如需下载文献全文,请通过文献求助获取。
|