清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

A better method to enforce monotonic constraints in regression and classification trees

单调函数 回归 计算机科学 数学 决策树 统计 计量经济学 人工智能 机器学习 数学分析
作者
Charles Auguste,Sean Malory,Ivan Smirnov
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:4
标识
DOI:10.48550/arxiv.2011.00986
摘要

In this report we present two new ways of enforcing monotone constraints in regression and classification trees. One yields better results than the current LightGBM, and has a similar computation time. The other one yields even better results, but is much slower than the current LightGBM. We also propose a heuristic that takes into account that greedily splitting a tree by choosing a monotone split with respect to its immediate gain is far from optimal. Then, we compare the results with the current implementation of the constraints in the LightGBM library, using the well known Adult public dataset. Throughout the report, we mostly focus on the implementation of our methods that we made for the LightGBM library, even though they are general and could be implemented in any regression or classification tree. The best method we propose (a smarter way to split the tree coupled to a penalization of monotone splits) consistently beats the current implementation of LightGBM. With small or average trees, the loss reduction can be as high as 1% in the early stages of training and decreases to around 0.1% at the loss peak for the Adult dataset. The results would be even better with larger trees. In our experiments, we didn't do a lot of tuning of the regularization parameters, and we wouldn't be surprised to see that increasing the performance of our methods on test sets.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
贪玩的梦容完成签到,获得积分10
刚刚
amiee发布了新的文献求助30
4秒前
夏日随笔完成签到 ,获得积分10
15秒前
火柴盒完成签到,获得积分10
19秒前
lx完成签到 ,获得积分10
20秒前
xzx完成签到,获得积分10
21秒前
专注寒蕾完成签到,获得积分10
26秒前
30秒前
35秒前
stanfordlee完成签到,获得积分10
37秒前
limengyao完成签到,获得积分10
48秒前
沉静曼梅完成签到,获得积分10
54秒前
忧郁的芳完成签到,获得积分10
57秒前
迷你的蜜粉完成签到,获得积分10
58秒前
英俊的小懒虫完成签到 ,获得积分10
1分钟前
1分钟前
1分钟前
勤恳寄凡发布了新的文献求助10
1分钟前
北枳完成签到,获得积分10
1分钟前
1分钟前
1分钟前
清新的之双完成签到,获得积分10
1分钟前
My_magnum_opus发布了新的文献求助100
1分钟前
体贴的惜文完成签到,获得积分10
1分钟前
勤恳寄凡完成签到,获得积分10
2分钟前
炜大的我举报dianeil的求助涉嫌违规
2分钟前
害羞的又菡完成签到,获得积分10
2分钟前
aging完成签到 ,获得积分10
2分钟前
2分钟前
不安溪灵完成签到,获得积分10
2分钟前
2分钟前
祁岳颐完成签到 ,获得积分10
2分钟前
心灵美懿轩完成签到,获得积分10
2分钟前
MassTestA1的应助被MassTestA1采纳,获得10
2分钟前
彪壮的从阳完成签到,获得积分10
2分钟前
美好的初翠完成签到,获得积分10
2分钟前
2分钟前
2分钟前
vitamin完成签到 ,获得积分10
2分钟前
虎子完成签到 ,获得积分10
3分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8185453
求助须知:如何正确求助?哪些是违规求助? 9574168
关于积分的说明 21834449
捐赠科研通 7782987
什么是DOI,文献DOI怎么找? 3434570
关于科研通互助平台的介绍 2558881
邀请新用户注册赠送积分活动 2481299