Statistical Comparisons of Classifiers over Multiple Data Sets

计算机科学 统计假设检验 威尔科克森符号秩检验 机器学习 人工智能 数据集 多重比较问题 集合(抽象数据类型) 参数统计 简单(哲学) 统计学习 训练集 事后 数据挖掘 数学 统计 哲学 曼惠特尼U检验 牙科 程序设计语言 认识论 医学
作者
Janez Demšar
出处
期刊:Journal of Machine Learning Research [The MIT Press]
卷期号:7 (1): 1-30 被引量:11043
摘要

While methods for comparing two learning algorithms on a single data set have been scrutinized for quite some time already, the issue of statistical tests for comparisons of more algorithms on multiple data sets, which is even more essential to typical machine learning studies, has been all but ignored. This article reviews the current practice and then theoretically and empirically examines several suitable tests. Based on that, we recommend a set of simple, yet safe and robust non-parametric tests for statistical comparisons of classifiers: the Wilcoxon signed ranks test for comparison of two classifiers and the Friedman test with the corresponding post-hoc tests for comparison of more classifiers over multiple data sets. Results of the latter can also be neatly presented with the newly introduced CD (critical difference) diagrams.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
科研小能手的应助被111采纳,获得200
1秒前
英俊的铭的应助被yang采纳,获得10
1秒前
加加加佳发布了新的文献求助10
1秒前
檀江发布了新的文献求助10
1秒前
莫断痕发布了新的文献求助10
2秒前
2秒前
2秒前
2秒前
小蘑菇的应助被闪闪乐松采纳,获得10
2秒前
三千发布了新的文献求助10
2秒前
衫楠如画完成签到,获得积分10
2秒前
李爱国的应助被白茶采纳,获得10
3秒前
望江南完成签到,获得积分10
3秒前
3秒前
smile完成签到,获得积分10
3秒前
HIBARA发布了新的文献求助10
3秒前
山上的老鼠完成签到,获得积分10
3秒前
www发布了新的文献求助10
3秒前
3秒前
斯文败类的应助被沉静的立轩采纳,获得10
4秒前
田様的应助被一点点采纳,获得10
4秒前
sunan完成签到,获得积分10
4秒前
zzz完成签到,获得积分10
4秒前
shisui发布了新的文献求助30
4秒前
E1X5T发布了新的文献求助30
4秒前
于心完成签到,获得积分10
4秒前
Edward chan完成签到,获得积分10
4秒前
吃芒果不剥皮完成签到,获得积分10
4秒前
彩色淼淼完成签到,获得积分10
4秒前
5秒前
嚼嚼者发布了新的文献求助10
5秒前
体贴绮露完成签到,获得积分10
5秒前
上官若男的应助被yyyyy采纳,获得10
5秒前
小蘑菇的应助被yyyyy采纳,获得10
5秒前
5秒前
慕青的应助被yyyyy采纳,获得10
6秒前
啦啦啦发布了新的文献求助10
6秒前
爆米花的应助被yyyyy采纳,获得10
6秒前
battle完成签到 ,获得积分10
6秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8162621
求助须知:如何正确求助?哪些是违规求助? 9556889
关于积分的说明 21737583
捐赠科研通 7753002
什么是DOI,文献DOI怎么找? 3427836
关于科研通互助平台的介绍 2552719
邀请新用户注册赠送积分活动 2472507