Training language models to be warm can reduce accuracy and increase sycophancy

计算机科学 语言模型 感觉 培训(气象学) 比例(比率) 人工智能 机器学习 心理学 认知心理学 应用心理学 自然语言处理 考试(生物学) 第二语言 训练集 人机交互
作者
Lujain Ibrahim,Franziska Sofia Hafner,Luc Rocher
出处
期刊:Nature [Nature Portfolio]
卷期号:652 (8112): 1159-1165
标识
DOI:10.1038/s41586-026-10410-0
摘要

. Here we show how this can create a significant trade-off: optimizing language models for warmth can undermine their performance, especially when users express vulnerability. We conducted controlled experiments on five different language models, training them to produce warmer responses, then evaluating them on consequential tasks. Warm models showed substantially higher error rates (+10 to +30 percentage points) than their original counterparts, promoting conspiracy theories, providing inaccurate factual information and offering incorrect medical advice. They were also significantly more likely to validate incorrect user beliefs, particularly when user messages expressed feelings of sadness. Importantly, these effects were consistent across different model architectures, and occurred despite preserved performance on standard tests, revealing systematic risks that standard testing practices may fail to detect. Our findings suggest that training artificial intelligence systems to be warm may come at a cost to accuracy, and that warmth and accuracy may not be independent by default. As these systems are deployed at an unprecedented scale and take on intimate roles in people's lives, this trade-off warrants attention from developers, policymakers and users alike.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
慕青应助Zlq采纳,获得10
刚刚
wpie99完成签到,获得积分10
1秒前
1秒前
懵懂的弱完成签到,获得积分10
2秒前
2秒前
希望天下0贩的0应助Roy007采纳,获得10
3秒前
shee发布了新的文献求助10
3秒前
Haha发布了新的文献求助10
5秒前
6秒前
CY发布了新的文献求助10
6秒前
ze完成签到 ,获得积分10
7秒前
苹果亦巧完成签到,获得积分10
7秒前
8秒前
8秒前
李爱国应助何耀荣采纳,获得10
8秒前
hitdsh完成签到,获得积分10
9秒前
yunsww发布了新的文献求助10
10秒前
喻超完成签到,获得积分10
10秒前
13秒前
苹果亦巧发布了新的文献求助10
13秒前
14秒前
aging00完成签到,获得积分10
15秒前
June完成签到 ,获得积分10
16秒前
17秒前
耶耶完成签到 ,获得积分10
17秒前
yunsww完成签到,获得积分10
18秒前
小蘑菇应助得鹿梦鱼采纳,获得10
19秒前
Roy007发布了新的文献求助10
19秒前
19秒前
19秒前
liu完成签到 ,获得积分10
19秒前
20秒前
20秒前
20秒前
zhouyan完成签到,获得积分10
20秒前
何耀荣发布了新的文献求助10
20秒前
chen完成签到 ,获得积分10
21秒前
张zh完成签到 ,获得积分10
21秒前
weber完成签到,获得积分10
21秒前
金海完成签到 ,获得积分10
23秒前
高分求助中
液晶指向矢仿真分析数据集 8888
Invited Discussant 63O and 64O 1000
Ideology and Meaning-Making under the Putin Regime 750
Thermal effects on behaviour of clay–structure interface under partial drainage 500
Petrology and Plate Tectonics 500
Writing Systems 500
A Handbook of User Experience Research & Design in Libraries 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 工程类 有机化学 计算机科学 化学工程 生物化学 物理 内科学 复合材料 催化作用 光电子学 物理化学 电极 细胞生物学 基因 遗传学
热门帖子
关注 科研通微信公众号,转发送积分 6895836
求助须知:如何正确求助?哪些是违规求助? 8591589
关于积分的说明 18243206
捐赠科研通 6291699
什么是DOI,文献DOI怎么找? 3060424
关于科研通互助平台的介绍 2078937
邀请新用户注册赠送积分活动 2038242