清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Generalization performance distributions along learning curves

一般化 学习曲线 泛化误差 人工智能 机器学习 分位数 计算机科学 标准差 分类器(UML) 统计学习 数学 集合(抽象数据类型) 高斯分布 采样(信号处理) 训练集 抽样分布 统计 统计学习理论 高斯过程 数据集 概率分布 在线机器学习 分布(数学) 基于实例的学习 统计模型 正态分布 集成学习 半监督学习 模式识别(心理学) 数据点 大概是正确的学习
作者
O. Taylan Turan,Marco Loog,David M. J. Tax
出处
期刊:Pattern Recognition Letters [Elsevier BV]
卷期号:201: 29-36
标识
DOI:10.1016/j.patrec.2026.01.003
摘要

• Research Highlights (Required) • A high-fidelity learning curve database is created. • Classifier performance distributions are investigated. • Performance distributions along learning curves often deviate from normality. • Differences in performance between models deviate from normal distributions. • Using alternative statistical measures alter model rankings along learning curves. Learning curves show the expected performance with respect to training set size. This is often used to evaluate and compare models, tune hyper-parameters and determine how much data is needed for a specific performance. However, the distributional properties of performance are frequently overlooked on learning curves. Generally, only an average with standard error or standard deviation is used. In this paper, we analyze the distributions of generalization performance on the learning curves. We compile a high-fidelity learning curve database, both with respect to training set size and repetitions of the sampling for a fixed training set size. Our investigation reveals that generalization performance rarely follows a Gaussian distribution for classical classifiers, regardless of dataset balance, loss function, sampling method, or hyper-parameter tuning along learning curves. Furthermore, we show that the choice of statistical summary, mean versus measures like quantiles affect the top model rankings. Our findings highlight the importance of considering different statistical measures and use of non-parametric approaches when evaluating and selecting machine learning models with learning curves.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
516165165完成签到,获得积分10
刚刚
喜悦的唇彩完成签到,获得积分10
1秒前
邓大瓜完成签到,获得积分10
3秒前
CaptainMus完成签到,获得积分10
4秒前
聪明的羿完成签到,获得积分10
5秒前
ln完成签到,获得积分10
5秒前
熊熊熊完成签到,获得积分10
5秒前
求助完成签到,获得积分10
5秒前
大力的映天完成签到,获得积分10
5秒前
yuan完成签到,获得积分10
5秒前
顺心雁开完成签到,获得积分10
7秒前
明理西装完成签到,获得积分10
8秒前
NiaoJiang完成签到,获得积分10
9秒前
内向的镜子完成签到,获得积分10
9秒前
July完成签到,获得积分10
9秒前
hh完成签到,获得积分10
10秒前
joker000717完成签到,获得积分10
10秒前
刘沂卓完成签到,获得积分10
10秒前
莫忘初心完成签到,获得积分10
11秒前
友好语风完成签到,获得积分10
11秒前
Zilaap完成签到,获得积分10
11秒前
花开富贵完成签到,获得积分10
11秒前
kkdg完成签到,获得积分10
11秒前
潘润朗完成签到,获得积分10
13秒前
敏感盼夏完成签到,获得积分10
14秒前
DrPika完成签到,获得积分10
14秒前
丁大胜完成签到,获得积分10
15秒前
追寻孤萍完成签到,获得积分10
15秒前
ZHZ完成签到,获得积分10
16秒前
INC完成签到,获得积分10
16秒前
KKDG完成签到,获得积分10
16秒前
qimoqi完成签到,获得积分10
16秒前
无花果的应助被朱洪帆采纳,获得10
17秒前
迷人的危险最值钱完成签到,获得积分10
17秒前
huan完成签到,获得积分10
18秒前
白昼完成签到,获得积分10
18秒前
129完成签到,获得积分10
19秒前
BlueLe完成签到,获得积分10
19秒前
千帆完成签到,获得积分10
21秒前
是丹小朱呀完成签到,获得积分10
21秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Hidden Empire of Finance: How Wall Street Profits from Our Cities and Fuels Global Inequality 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8166414
求助须知:如何正确求助?哪些是违规求助? 9559494
关于积分的说明 21750507
捐赠科研通 7757221
什么是DOI,文献DOI怎么找? 3429141
关于科研通互助平台的介绍 2553489
邀请新用户注册赠送积分活动 2473845