Machine Learning in Environmental Research: Common Pitfalls and Best Practices

计算机科学 虚假关系 特征选择 机器学习 数据预处理 预处理器 数据科学 随机性 破译 过程(计算) 数据挖掘 人工智能 环境数据 管理科学 工程类 统计 数学 生物 政治学 法学 遗传学 操作系统
作者
Jun‐Jie Zhu,Meiqi Yang,Zhiyong Jason Ren
出处
期刊:Environmental Science & Technology [American Chemical Society]
卷期号:57 (46): 17671-17689 被引量:610
标识
DOI:10.1021/acs.est.3c00026
摘要

Machine learning (ML) is increasingly used in environmental research to process large data sets and decipher complex relationships between system variables. However, due to the lack of familiarity and methodological rigor, inadequate ML studies may lead to spurious conclusions. In this study, we synthesized literature analysis with our own experience and provided a tutorial-like compilation of common pitfalls along with best practice guidelines for environmental ML research. We identified more than 30 key items and provided evidence-based data analysis based on 148 highly cited research articles to exhibit the misconceptions of terminologies, proper sample size and feature size, data enrichment and feature selection, randomness assessment, data leakage management, data splitting, method selection and comparison, model optimization and evaluation, and model explainability and causality. By analyzing good examples on supervised learning and reference modeling paradigms, we hope to help researchers adopt more rigorous data preprocessing and model development standards for more accurate, robust, and practicable model uses in environmental research and applications.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
斯文败类应助yuyajun采纳,获得10
刚刚
刘雪完成签到 ,获得积分10
1秒前
1秒前
1秒前
sam发布了新的文献求助500
2秒前
lii完成签到,获得积分10
2秒前
苏道完成签到,获得积分10
2秒前
不安书雁发布了新的文献求助10
2秒前
Akim应助移云宝宝采纳,获得10
2秒前
2秒前
Nekoo完成签到,获得积分10
3秒前
77发布了新的文献求助10
3秒前
jie完成签到 ,获得积分10
3秒前
思源应助刘屁屁采纳,获得30
4秒前
大模型应助jinli采纳,获得10
4秒前
五条悟发布了新的文献求助10
4秒前
奋斗的夜山完成签到 ,获得积分10
4秒前
4秒前
多情的兔子完成签到,获得积分10
4秒前
爽哥完成签到,获得积分10
4秒前
西西完成签到,获得积分0
5秒前
anna完成签到,获得积分10
5秒前
JamesPei应助luoshiyi采纳,获得10
6秒前
CHRIS完成签到,获得积分10
6秒前
chen发布了新的文献求助10
6秒前
百川完成签到,获得积分10
6秒前
于佳发布了新的文献求助10
6秒前
6秒前
molihuakai应助Lyy采纳,获得10
6秒前
6秒前
brebre完成签到 ,获得积分10
6秒前
7秒前
7秒前
7秒前
7秒前
2052669099应助Lvy叶采纳,获得20
7秒前
852应助SunJay采纳,获得10
7秒前
研友_VZG7GZ应助Eina采纳,获得10
8秒前
汉堡包应助时光是个无赖采纳,获得10
8秒前
亦澄发布了新的文献求助10
8秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
The anomeric effect 1000
Principles of town planning: translating concepts to applications 1000
Navigating Normative Orders: Interdisciplinary Perspectives 750
1 Peter and Christ's Descent to the Dead in Its Early Christian Reception 700
Organizational Behavior 510
Management and the Arts 510
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 工程类 有机化学 化学工程 生物化学 计算机科学 内科学 物理 复合材料 催化作用 细胞生物学 无机化学 光电子学 物理化学 电极 基因
热门帖子
关注 科研通微信公众号,转发送积分 7733844
求助须知:如何正确求助?哪些是违规求助? 9284335
关于积分的说明 20164802
捐赠科研通 7311729
什么是DOI,文献DOI怎么找? 3304520
关于科研通互助平台的介绍 2457139
邀请新用户注册赠送积分活动 2313697