Is AI ground truth really true? The dangers of training and evaluating AI tools based on experts’ know-what \n

基本事实 计算机科学 质量(理念) 领域(数学) 工作(物理) 共同点 需要知道 培训(气象学) 知识管理 心理学 数据科学 人工智能 工程类 数学 认识论 社会心理学 计算机安全 纯数学 气象学 哲学 物理 机械工程
作者
Sarah Lebovitz,Levina, Natalie,Hila Lifshitz-Assa
出处
期刊:University of Warwick - Warwick Research Archive Portal [University of Warwick]
被引量:338
标识
DOI:10.25300/misq/2021/16564
摘要

Organizational decision-makers need to evaluate AI tools in light of increasing claims that such tools outperform human experts. Yet, measuring the quality of knowledge work is challenging, raising the question of how to evaluate AI performance in such contexts. We investigate this question through a field study of a major U.S. hospital, observing how managers evaluated five different machine-learning (ML) based AI tools. Each tool reported high performance according to standard AI accuracy measures, which were based on ground truth labels provided by qualified experts. Trying these tools out in practice, however, revealed that none of them met expectations. Searching for explanations, managers began confronting the high uncertainty of experts’ know-what knowledge captured in ground truth labels used to train and validate ML models. In practice, experts address this uncertainty by drawing on rich know-how practices, which were not incorporated into these ML-based tools. Discovering the disconnect between AI’s know-what and experts’ know-how enabled managers to better understand the risks and benefits of each tool. This study shows dangers of treating ground truth labels used in ML models objectively when the underlying knowledge is uncertain. We outline implications of our study for developing, training, and evaluating AI for knowledge work. \n
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
科目三的应助被broccoli采纳,获得10
刚刚
刚刚
Heaven完成签到 ,获得积分10
刚刚
1秒前
小橘完成签到,获得积分10
1秒前
Peng完成签到,获得积分10
2秒前
刘扣扣UU完成签到,获得积分10
2秒前
丁浩伦发布了新的文献求助30
3秒前
3秒前
小黑完成签到,获得积分10
3秒前
小宇发布了新的文献求助10
4秒前
十驾医学僧完成签到,获得积分10
4秒前
张乐群完成签到 ,获得积分10
4秒前
Scorpia112完成签到 ,获得积分10
5秒前
joybee完成签到,获得积分0
5秒前
不弃完成签到,获得积分10
6秒前
wu发布了新的文献求助10
6秒前
Liii完成签到 ,获得积分10
6秒前
红颜如梦完成签到 ,获得积分10
7秒前
李健的应助被奋斗断秋采纳,获得10
8秒前
mm完成签到,获得积分10
8秒前
仔仔完成签到 ,获得积分20
8秒前
知识进脑子吧完成签到 ,获得积分10
9秒前
9秒前
李笙完成签到 ,获得积分10
10秒前
fangyuan完成签到,获得积分10
10秒前
承承完成签到,获得积分10
11秒前
12秒前
Sci狂想曲完成签到 ,获得积分10
12秒前
香蕉觅云的应助被炙热灵枫采纳,获得10
12秒前
薇薇完成签到,获得积分10
13秒前
333455完成签到,获得积分10
13秒前
香蕉觅云的应助被小宇采纳,获得10
14秒前
快乐的尔蓝完成签到,获得积分10
15秒前
15秒前
落后的念寒完成签到,获得积分10
16秒前
科研小洁儿完成签到,获得积分10
16秒前
123456完成签到,获得积分10
16秒前
Liusc发布了新的文献求助10
17秒前
靓丽红牛完成签到,获得积分10
18秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8190438
求助须知:如何正确求助?哪些是违规求助? 9577668
关于积分的说明 21853638
捐赠科研通 7789450
什么是DOI,文献DOI怎么找? 3436407
关于科研通互助平台的介绍 2560224
邀请新用户注册赠送积分活动 2483032