标题 |
![]() 边缘计算中具有持续学习的高效在线DNN推理
相关领域
计算机科学
推论
边缘计算
GSM演进的增强数据速率
人工智能
机器学习
|
网址 | |
DOI | |
其它 |
摘要: 由于数据漂移,压缩边缘 DNN 模型在执行推理时,模型准确性通常会降低。为了保持推理的准确性,通常在边缘采用持续学习的重新训练模型。然而,具有持续学习的在线边缘 DNN 推理面临着新的挑战。首先,引入再训练作业会导致与现有边缘推理任务的资源竞争,这将影响推理延迟。其次,再训练作业和推理任务在工作负载和延迟要求方面表现出显著差异。这两个 Job 不能采用相同的调度策略。为了克服这些挑战,我们提出了一种用于持续学习的干扰 (OINC) 的在线调度算法。OINC 最大限度地减少了推理任务的延迟与使用有限边缘资源重新训练作业的完成时间的加权总和,同时确保满足推理任务的服务等级目标 (SLO) 并满足再训练作业的截止日期。OINC 首先预留一部分资源来完成所有当前推理任务,并将剩余资源分配给重新训练作业。随后,根据预留资源比例,OINC 调用两个子算法来选择边,并分别为每个推理任务和再训练作业分配资源。与六种最先进的算法相比,OINC 可以将加权和减少高达 23.7%,并将成功率提高高达 35.6%。 |
求助人 | |
下载 | 该求助完结已超 24 小时,文件已从服务器自动删除,无法下载。 |
温馨提示:该文献已被科研通 学术中心 收录,前往查看
科研通『学术中心』是文献索引库,收集文献的基本信息(如标题、摘要、期刊、作者、被引量等),不提供下载功能。如需下载文献全文,请通过文献求助获取。
|