已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

The Psychogenic Machine: Simulating AI Psychosis, Delusion Reinforcement and Harm Enablement in Large Language Models

妄想 危害 心理学 对话 心理干预 心因性疾病 认知心理学 精神病 毒物控制 社会心理学 比例(比率) 脆弱性(计算) 精神分裂症(面向对象编程) 精神科 心理治疗师 自杀预防 公共卫生 发展心理学 生物社会理论 应用心理学 偏爱 伤害预防 临床心理学
作者
Joshua Au Yeung,Jacopo Dalmasso,Luca Foschini,Richard Dobson,Željko Kraljević
标识
DOI:10.48550/arxiv.2509.10970
摘要

Background: Emerging reports of "AI psychosis" are on the rise, where user-LLM interactions may exacerbate or induce psychosis or adverse psychological symptoms. Whilst the sycophantic and agreeable nature of LLMs can be beneficial, it becomes a vector for harm by reinforcing delusional beliefs in vulnerable users. Methods: Psychosis-bench is a novel benchmark designed to systematically evaluate the psychogenicity of LLMs comprises 16 structured, 12-turn conversational scenarios simulating the progression of delusional themes(Erotic Delusions, Grandiose/Messianic Delusions, Referential Delusions) and potential harms. We evaluated eight prominent LLMs for Delusion Confirmation (DCS), Harm Enablement (HES), and Safety Intervention(SIS) across explicit and implicit conversational contexts. Findings: Across 1,536 simulated conversation turns, all LLMs demonstrated psychogenic potential, showing a strong tendency to perpetuate rather than challenge delusions (mean DCS of 0.91 $\pm$0.88). Models frequently enabled harmful user requests (mean HES of 0.69 $\pm$0.84) and offered safety interventions in only roughly a third of applicable turns (mean SIS of 0.37 $\pm$0.48). 51 / 128 (39.8%) of scenarios had no safety interventions offered. Performance was significantly worse in implicit scenarios, models were more likely to confirm delusions and enable harm while offering fewer interventions (p < .001). A strong correlation was found between DCS and HES (rs = .77). Model performance varied widely, indicating that safety is not an emergent property of scale alone. Conclusion: This study establishes LLM psychogenicity as a quantifiable risk and underscores the urgent need for re-thinking how we train LLMs. We frame this issue not merely as a technical challenge but as a public health imperative requiring collaboration between developers, policymakers, and healthcare professionals.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
心中完成签到,获得积分10
刚刚
aajhajkahna应助enzo采纳,获得10
刚刚
2秒前
冷酷的大白菜完成签到,获得积分10
2秒前
4秒前
cbb发布了新的文献求助10
6秒前
一枚青椒完成签到,获得积分10
6秒前
8秒前
范特西完成签到 ,获得积分10
8秒前
沉默笑蓝发布了新的文献求助10
9秒前
9秒前
火星仙人掌完成签到 ,获得积分10
10秒前
炸鸡腿完成签到 ,获得积分10
12秒前
单薄绿竹完成签到,获得积分10
12秒前
鹿飞松发布了新的文献求助10
13秒前
14秒前
啷个吃不饱完成签到 ,获得积分10
14秒前
ht完成签到,获得积分10
14秒前
动人的亦旋完成签到,获得积分10
14秒前
cquank完成签到,获得积分10
18秒前
胡杨树2006完成签到,获得积分10
19秒前
激情的衣完成签到,获得积分10
19秒前
月季花季完成签到 ,获得积分10
20秒前
苦小厄发布了新的文献求助10
20秒前
22秒前
鹿飞松完成签到,获得积分10
27秒前
苦小厄完成签到,获得积分20
28秒前
30秒前
一只大嵩鼠完成签到 ,获得积分10
33秒前
shentaii完成签到,获得积分0
34秒前
34秒前
35秒前
研友_惊鸿发布了新的文献求助10
35秒前
小寻发布了新的文献求助10
36秒前
cbb发布了新的文献求助10
38秒前
薄荷水发布了新的文献求助10
38秒前
科研通AI6.2应助研友_惊鸿采纳,获得10
39秒前
科研通AI6.4应助愉快的戎采纳,获得10
39秒前
家伟发布了新的文献求助10
40秒前
41秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
Effects of Two Weeks of Red Light Therapy on Choroidal Thickness and Axial Length in Young Adults 700
内視鏡的に摘除しえた十二指腸乳頭部腫瘍の2例 660
The Foundation of Positive Psychology 600
Management and the Arts 510
Matrix Methods in Data Mining and Pattern Recognition Second Edition 510
The Neuroscience of Language 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 工程类 有机化学 化学工程 生物化学 计算机科学 内科学 物理 复合材料 催化作用 细胞生物学 无机化学 光电子学 物理化学 电极 基因
热门帖子
关注 科研通微信公众号,转发送积分 7676778
求助须知:如何正确求助?哪些是违规求助? 9242719
关于积分的说明 19918711
捐赠科研通 7247041
什么是DOI,文献DOI怎么找? 3286572
关于科研通互助平台的介绍 2444550
邀请新用户注册赠送积分活动 2289570