A Comprehensive Review of Metaheuristics for Hyperparameter Optimization in Machine Learning

超参数 元启发式 机器学习 人工智能 计算机科学
作者
Ramachandran Narayanan,N. Ganesh
标识
DOI:10.1002/9781394233953.ch2
摘要

Hyperparameter optimization is a critical step in the development and fine-tuning of machine learning (ML) models. Metaheuristic optimization techniques have gained significant popularity for addressing this challenge due to their ability to search the hyperparameter space efficiently. In this review, we present a detailed analysis of various metaheuristic techniques for hyperparameter optimization in ML, encompassing population-based, single solution-based, and hybrid approaches. We explore the application of metaheuristics in Bayesian optimization and neural architecture search, two prominent areas within the field. Moreover, we provide a comparative analysis of these techniques based on established criteria and evaluate their performance in diverse ML applications. Finally, we discuss future directions and open challenges with special emphasis on the opportunities for improvement in metaheuristics. Other crucial issues like adaptability to new ML paradigms, computational complexity, and scalability issues are also discussed critically. This review aims to provide researchers and practitioners with a comprehensive understanding of the state-of-the-art metaheuristic optimization techniques for hyperparameter tuning, thereby facilitating informed decisions and advancements in the field.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
2秒前
小七完成签到 ,获得积分10
2秒前
香蕉从寒完成签到,获得积分10
4秒前
wenhui完成签到 ,获得积分10
5秒前
乐观依云完成签到,获得积分10
6秒前
KK完成签到 ,获得积分10
6秒前
7秒前
7秒前
woo发布了新的文献求助10
7秒前
橘子完成签到,获得积分10
8秒前
李健的小迷弟的应助被graves采纳,获得10
10秒前
星空发布了新的文献求助10
10秒前
10秒前
酷波er的应助被haha采纳,获得10
10秒前
木头发布了新的文献求助10
11秒前
12秒前
111发布了新的文献求助10
14秒前
wenmu完成签到 ,获得积分10
15秒前
激动的55完成签到 ,获得积分10
15秒前
cos完成签到,获得积分10
15秒前
无敌小宝贝完成签到 ,获得积分20
15秒前
Aria_chao完成签到,获得积分10
16秒前
星空完成签到,获得积分10
16秒前
马腾龙完成签到,获得积分10
18秒前
19秒前
19秒前
舒服的幼荷完成签到,获得积分10
19秒前
zzy完成签到,获得积分10
19秒前
19秒前
Maestro_S的应助被木头采纳,获得10
21秒前
zzy发布了新的文献求助10
23秒前
Jasper的应助被熊二迷妹采纳,获得10
24秒前
25秒前
科研通AI6.3的应助被woo采纳,获得10
26秒前
27秒前
张康完成签到 ,获得积分10
28秒前
也一样发布了新的文献求助10
29秒前
shuyiWang发布了新的文献求助10
30秒前
刘mz完成签到 ,获得积分10
30秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
Boundaries and Bodhisattvas 500
高分子基功能界面水蒸发材料与应用研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8181823
求助须知:如何正确求助?哪些是违规求助? 9571511
关于积分的说明 21818391
捐赠科研通 7778076
什么是DOI,文献DOI怎么找? 3433524
关于科研通互助平台的介绍 2557696
邀请新用户注册赠送积分活动 2479614