标题 |
![]() CEED:边缘协同早期退出神经网络推理
|
网址 | |
DOI |
10.1109/INFOCOM55648.2025.11044557
doi
|
其它 |
摘要: 近年来,边缘协作推理作为边缘计算的主要趋势之一而受到关注。早期退出神经网络 (EENN) 架构通过平衡推理时间和准确性与神经网络中可配置的早期退出阈值来支持这一点。此类阈值支持根据置信度分数动态调整作业的处理延迟。但是,大多数分布式 EENN 设置使用预设的置信度阈值,并假设数据到达恒定。由于边缘设备中的内存容量有限,此假设使系统面临潜在的数据丢失。为了解决这些问题,我们提出了 CEED,这是一种基于 AI 的优化框架,可在多层边缘基础设施上实现协作式 EENN 推理。CEED 集成了 EENN 预测器和损耗比率预测器,以快速评估置信度阈值配置和设备的任务分配。在物理测试台上进行的实验表明,CEED 通过在端到端系统损耗率和 EENN 推理精度之间取得更好的平衡,显著改进了现有的 EENN 推理方法。 |
求助人 | |
下载 | 暂无链接,等待应助者上传 |