Machine Learning in Environmental Research: Common Pitfalls and Best Practices

计算机科学 虚假关系 特征选择 机器学习 数据预处理 预处理器 数据科学 随机性 破译 过程(计算) 数据挖掘 人工智能 环境数据 管理科学 工程类 统计 数学 生物 政治学 法学 遗传学 操作系统
作者
Jun‐Jie Zhu,Meiqi Yang,Zhiyong Jason Ren
出处
期刊:Environmental Science & Technology [American Chemical Society]
卷期号:57 (46): 17671-17689 被引量:543
标识
DOI:10.1021/acs.est.3c00026
摘要

Machine learning (ML) is increasingly used in environmental research to process large data sets and decipher complex relationships between system variables. However, due to the lack of familiarity and methodological rigor, inadequate ML studies may lead to spurious conclusions. In this study, we synthesized literature analysis with our own experience and provided a tutorial-like compilation of common pitfalls along with best practice guidelines for environmental ML research. We identified more than 30 key items and provided evidence-based data analysis based on 148 highly cited research articles to exhibit the misconceptions of terminologies, proper sample size and feature size, data enrichment and feature selection, randomness assessment, data leakage management, data splitting, method selection and comparison, model optimization and evaluation, and model explainability and causality. By analyzing good examples on supervised learning and reference modeling paradigms, we hope to help researchers adopt more rigorous data preprocessing and model development standards for more accurate, robust, and practicable model uses in environmental research and applications.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
2Q完成签到,获得积分10
1秒前
细心黎昕发布了新的文献求助10
1秒前
潇洒红牛完成签到,获得积分10
2秒前
小翟完成签到,获得积分10
2秒前
英俊的铭应助godblessyou采纳,获得10
2秒前
wyz完成签到,获得积分10
2秒前
耶卷完成签到 ,获得积分10
2秒前
3秒前
买樱桃的大丸子完成签到,获得积分10
3秒前
科研菜鸡完成签到 ,获得积分10
4秒前
科研通AI6.4应助Xiao悔采纳,获得10
4秒前
刻苦的幻巧完成签到,获得积分10
4秒前
咕咕完成签到 ,获得积分10
4秒前
5秒前
ni完成签到 ,获得积分10
5秒前
玊尔发布了新的文献求助10
5秒前
稚未发布了新的文献求助10
5秒前
张振宇完成签到 ,获得积分10
5秒前
6秒前
molihuakai应助蓝天采纳,获得20
6秒前
赘婿应助yukii采纳,获得10
6秒前
积极无敌发布了新的文献求助10
6秒前
6秒前
lmn完成签到,获得积分10
7秒前
机智的三国菌完成签到,获得积分10
8秒前
我是老大应助大气烨华采纳,获得10
8秒前
mg完成签到,获得积分10
8秒前
Aurora完成签到,获得积分10
9秒前
9秒前
洛赋发布了新的文献求助10
9秒前
Jaaay发布了新的文献求助10
10秒前
Lucas应助赵先生采纳,获得10
10秒前
额威风发布了新的文献求助10
10秒前
葡萄小伊ovo完成签到 ,获得积分10
10秒前
讨厌胡萝卜完成签到,获得积分10
10秒前
liu95完成签到 ,获得积分0
11秒前
Reader发布了新的文献求助10
12秒前
12秒前
样样子发布了新的文献求助10
12秒前
高分求助中
Principles of Economics, 11th Edition 10000
University Physics with Modern Physics, 16th edition 10000
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
Matrix Methods in Data Mining and Pattern Recognition 510
Social Skills Improvement System-Rating Scales--Chinese Version 500
Dynamische Polarisation von H-1 und B-11 in (CH-3)-3NBH-3 500
CLSI M07 2024 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 工程类 有机化学 化学工程 生物化学 计算机科学 内科学 物理 复合材料 催化作用 细胞生物学 无机化学 光电子学 物理化学 电极 基因
热门帖子
关注 科研通微信公众号,转发送积分 7248096
求助须知:如何正确求助?哪些是违规求助? 8870967
关于积分的说明 18715167
捐赠科研通 6927087
什么是DOI,文献DOI怎么找? 3198132
关于科研通互助平台的介绍 2373857
邀请新用户注册赠送积分活动 2172981