An Efficient Multi-Objective Evolutionary Zero-Shot Neural Architecture Search Framework for Image Classification

计算机科学 公制(单位) 集合(抽象数据类型) 建筑 人工智能 人工神经网络 零(语言学) 机器学习 进化算法 数据挖掘 工程类 哲学 艺术 视觉艺术 语言学 程序设计语言 运营管理
作者
Jianwei Zhang,Lei Zhang,Yan Wang,Junyou Wang,Xin Wei,Wenjie Liu
出处
期刊:International Journal of Neural Systems [World Scientific]
卷期号:33 (05) 被引量:4
标识
DOI:10.1142/s0129065723500168
摘要

Neural Architecture Search (NAS) has recently shown a powerful ability to engineer networks automatically on various tasks. Most current approaches navigate the search direction with the validation performance-based architecture evaluation methodology, which estimates an architecture’s quality by training and validating on a specific large dataset. However, for small-scale datasets, the model’s performance on the validation set cannot precisely estimate that on the test set. The imprecise architecture evaluation can mislead the search to sub-optima. To address the above problem, we propose an efficient multi-objective evolutionary zero-shot NAS framework by evaluating architectures with zero-cost metrics, which can be calculated with randomly initialized models in a training-free manner. Specifically, a general zero-cost metric design principle is proposed to unify the current metrics and help develop several new metrics. Then, we offer an efficient computational method for multi-zero-cost metrics by calculating them in one forward and backward pass. Finally, comprehensive experiments have been conducted on NAS-Bench-201 and MedMNIST. The results have shown that the proposed method can achieve sufficiently accurate, high-throughput performance on MedMNIST and 20[Formula: see text]faster than the previous best method.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
顺心梦山完成签到,获得积分10
4秒前
4秒前
茉莉静颖完成签到,获得积分10
4秒前
田様应助勤恳的小笼包采纳,获得10
7秒前
蒋宜颖完成签到,获得积分10
8秒前
南宫代萱发布了新的文献求助10
9秒前
wufel2完成签到,获得积分10
9秒前
猪NO完成签到,获得积分10
9秒前
酸化土壤改良应助Xiiwan采纳,获得30
10秒前
yqcsysu完成签到 ,获得积分10
12秒前
无心的尔阳发布了新的文献求助200
13秒前
动物园小科畜完成签到,获得积分10
13秒前
发疯的半仙完成签到,获得积分10
13秒前
13秒前
PageWan完成签到,获得积分10
16秒前
科目三应助落寞的无施采纳,获得10
16秒前
酷波er应助魏魏采纳,获得10
16秒前
复杂的兔子完成签到,获得积分10
17秒前
大秦帝国发布了新的文献求助10
17秒前
星辰大海应助wufel采纳,获得10
18秒前
19秒前
CipherSage应助毛子涵采纳,获得10
21秒前
ldk发布了新的文献求助20
21秒前
研友_VZG7GZ应助科研通管家采纳,获得10
21秒前
ding应助科研通管家采纳,获得10
21秒前
sivenmoon应助科研通管家采纳,获得10
21秒前
21秒前
领导范儿应助科研通管家采纳,获得10
21秒前
bkagyin应助科研通管家采纳,获得10
21秒前
852应助科研通管家采纳,获得10
21秒前
Akim应助科研通管家采纳,获得10
21秒前
顾矜应助科研通管家采纳,获得10
21秒前
bkagyin应助科研通管家采纳,获得10
21秒前
21秒前
Leonardi应助科研通管家采纳,获得20
21秒前
21秒前
852应助科研通管家采纳,获得10
21秒前
24秒前
24秒前
豆豆可发布了新的文献求助10
24秒前
高分求助中
请在求助之前详细阅读求助说明!!!! 20000
Sphäroguß als Werkstoff für Behälter zur Beförderung, Zwischen- und Endlagerung radioaktiver Stoffe - Untersuchung zu alternativen Eignungsnachweisen: Zusammenfassender Abschlußbericht 1500
One Man Talking: Selected Essays of Shao Xunmei, 1929–1939 1000
Yuwu Song, Biographical Dictionary of the People's Republic of China 700
[Lambert-Eaton syndrome without calcium channel autoantibodies] 520
The Three Stars Each: The Astrolabes and Related Texts 500
A radiographic standard of reference for the growing knee 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 有机化学 工程类 生物化学 纳米技术 物理 内科学 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 电极 光电子学 量子力学
热门帖子
关注 科研通微信公众号,转发送积分 2469488
求助须知:如何正确求助?哪些是违规求助? 2136598
关于积分的说明 5444029
捐赠科研通 1861002
什么是DOI,文献DOI怎么找? 925605
版权声明 562702
科研通“疑难数据库(出版商)”最低求助积分说明 495140