Evaluating the effectiveness of large language models in patient education for conjunctivitis

医学 验光服务
作者
Jingyuan Wang,Runhan Shi,Qihua Le,Kun Shan,Zhi Chen,Xujiao Zhou,Yao He,Jiaxu Hong
出处
期刊:British Journal of Ophthalmology [BMJ]
卷期号:109 (2): 185-191 被引量:23
标识
DOI:10.1136/bjo-2024-325599
摘要

AIMS: To evaluate the quality of responses from large language models (LLMs) to patient-generated conjunctivitis questions. METHODS: A two-phase, cross-sectional study was conducted at the Eye and ENT Hospital of Fudan University. In phase 1, four LLMs (GPT-4, Qwen, Baichuan 2 and PaLM 2) responded to 22 frequently asked conjunctivitis questions. Six expert ophthalmologists assessed these responses using a 5-point Likert scale for correctness, completeness, readability, helpfulness and safety, supplemented by objective readability analysis. Phase 2 involved 30 conjunctivitis patients who interacted with GPT-4 or Qwen, evaluating the LLM-generated responses based on satisfaction, humanisation, professionalism and the same dimensions except for correctness from phase 1. Three ophthalmologists assessed responses using phase 1 criteria, allowing for a comparative analysis between medical and patient evaluations, probing the study's practical significance. RESULTS: In phase 1, GPT-4 excelled across all metrics, particularly in correctness (4.39±0.76), completeness (4.31±0.96) and readability (4.65±0.59) while Qwen showed similarly strong performance in helpfulness (4.37±0.93) and safety (4.25±1.03). Baichuan 2 and PaLM 2 were effective but trailed behind GPT-4 and Qwen. The objective readability analysis revealed GPT-4's responses as the most detailed, with PaLM 2's being the most succinct. Phase 2 demonstrated GPT-4 and Qwen's robust performance, with high satisfaction levels and consistent evaluations from both patients and professionals. CONCLUSIONS: Our study showed LLMs effectively improve patient education in conjunctivitis. These models showed considerable promise in real-world patient interactions. Despite encouraging results, further refinement, particularly in personalisation and handling complex inquiries, is essential prior to the clinical integration of these LLMs.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
苗觉觉完成签到,获得积分10
刚刚
幸以完成签到,获得积分10
刚刚
阔达的心情完成签到,获得积分10
刚刚
LML完成签到,获得积分10
刚刚
啦啦啦发布了新的文献求助10
刚刚
葉子完成签到 ,获得积分10
1秒前
bo完成签到,获得积分20
1秒前
九月的柿子完成签到,获得积分10
1秒前
HH完成签到,获得积分10
2秒前
五六七完成签到,获得积分20
2秒前
Karl发布了新的文献求助30
2秒前
偷书贼完成签到,获得积分10
2秒前
lin01完成签到 ,获得积分10
2秒前
秋水完成签到,获得积分10
2秒前
sky完成签到,获得积分10
2秒前
guogangyouming完成签到,获得积分10
3秒前
虚幻的璟完成签到,获得积分10
4秒前
开放鹭洋完成签到,获得积分10
4秒前
MONNA完成签到 ,获得积分10
4秒前
小橙好运关注了科研通微信公众号
4秒前
4秒前
Conccuc完成签到,获得积分10
4秒前
嘻嘻桃发布了新的文献求助10
4秒前
野木生花完成签到,获得积分10
4秒前
大碗完成签到,获得积分10
4秒前
开心的抽屉完成签到,获得积分10
5秒前
xinL完成签到,获得积分10
5秒前
宗佳茹完成签到,获得积分10
5秒前
6秒前
VIEAAA完成签到,获得积分10
6秒前
祁尒完成签到,获得积分10
7秒前
bo发布了新的文献求助10
7秒前
奕雨完成签到,获得积分10
7秒前
SMART完成签到,获得积分10
7秒前
turtle85完成签到 ,获得积分10
7秒前
小鱼完成签到,获得积分10
8秒前
qss8807完成签到,获得积分10
8秒前
体贴凌寒完成签到 ,获得积分10
8秒前
周周发布了新的文献求助10
9秒前
热心的自行车完成签到,获得积分10
9秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8159288
求助须知:如何正确求助?哪些是违规求助? 9554702
关于积分的说明 21720900
捐赠科研通 7748911
什么是DOI,文献DOI怎么找? 3427184
关于科研通互助平台的介绍 2552111
邀请新用户注册赠送积分活动 2471479