清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

SurgeNAS: A Comprehensive Surgery on Hardware-Aware Differentiable Neural Architecture Search

计算机科学 瓶颈 可微函数 卷积神经网络 杠杆(统计) 人工智能 可扩展性 机器学习 理论计算机科学 计算机工程 嵌入式系统 数学 数据库 数学分析
作者
Xiangzhong Luo,Di Liu,Hao Kong,Shuo Huai,Hui Chen,Weichen Liu
出处
期刊:IEEE Transactions on Computers [Institute of Electrical and Electronics Engineers]
卷期号:72 (4): 1081-1094 被引量:11
标识
DOI:10.1109/tc.2022.3188175
摘要

Differentiable neural architecture search (NAS) is an emerging paradigm to automate the design of top-performing convolutional neural networks (CNNs). Nonetheless, existing differentiable NAS methods suffer from several crucial weaknesses, such as inaccurate gradient estimation, high memory consumption, search fairness, etc . In this work, we introduce a novel hardware-aware differentiable NAS framework, namely SurgeNAS, in which we leverage the one-level optimization to avoid inaccuracy in gradient estimation. To this end, we propose an effective identity mapping regularization to alleviate the over-selecting issue. Besides, to mitigate the memory bottleneck, we propose an ordered differentiable sampling approach, which significantly reduces the search memory consumption to the single-path level, thereby allowing to directly search on target tasks instead of small proxy tasks. Meanwhile, it guarantees the strict search fairness. Moreover, we introduce a graph neural networks (GNNs) based predictor to approximate the on-device latency, which is further integrated into SurgeNAS to enable the latency-aware architecture search. Finally, we analyze the resource underutilization issue, in which we propose to scale up the searched SurgeNets within Comfort Zone to balance the computation and memory access, which brings considerable accuracy improvement without deteriorating the execution efficiency. Extensive experiments are conducted on ImageNet with diverse hardware platforms, which clearly show the effectiveness of SurgeNAS in terms of accuracy, latency, and search efficiency.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
isssstwice完成签到,获得积分10
4秒前
doudou完成签到,获得积分10
23秒前
落后的山槐完成签到,获得积分10
41秒前
1分钟前
LY发布了新的文献求助10
1分钟前
活力尔柳完成签到 ,获得积分10
1分钟前
lilylwy完成签到 ,获得积分0
1分钟前
朝朝的应助被萧雨墨采纳,获得10
1分钟前
单纯的天抒完成签到,获得积分10
1分钟前
Maestro_S的应助被科研通管家采纳,获得10
1分钟前
1分钟前
LY完成签到,获得积分10
2分钟前
彩色听筠完成签到,获得积分10
2分钟前
文静的丹彤完成签到,获得积分10
2分钟前
勤劳觅山完成签到,获得积分10
2分钟前
专注寒蕾完成签到,获得积分10
3分钟前
分手吧亚索完成签到 ,获得积分10
3分钟前
无极微光的应助被科研通管家采纳,获得20
3分钟前
3分钟前
3分钟前
3分钟前
urah完成签到,获得积分10
3分钟前
万能图书馆的应助被urah采纳,获得10
3分钟前
yuanmeng434完成签到 ,获得积分10
4分钟前
lily完成签到 ,获得积分10
4分钟前
神勇寄风完成签到,获得积分10
4分钟前
李祺完成签到 ,获得积分10
4分钟前
落寞的姿完成签到,获得积分10
4分钟前
火柴盒完成签到,获得积分10
4分钟前
漂亮的乐曲完成签到,获得积分10
5分钟前
Maestro_S的应助被科研通管家采纳,获得10
5分钟前
5分钟前
5分钟前
5分钟前
urah发布了新的文献求助10
5分钟前
愤怒的微笑完成签到,获得积分10
5分钟前
宣灵薇完成签到 ,获得积分0
5分钟前
浮华乱世完成签到 ,获得积分10
6分钟前
风趣的莫英完成签到,获得积分10
6分钟前
沉默怡完成签到,获得积分10
6分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8190226
求助须知:如何正确求助?哪些是违规求助? 9577355
关于积分的说明 21852358
捐赠科研通 7788741
什么是DOI,文献DOI怎么找? 3436310
关于科研通互助平台的介绍 2560106
邀请新用户注册赠送积分活动 2482902