Multidimensional assessment of large language model responses to patient questions on gestational diabetes mellitus

作者
Betul Yigit Yalcın,Ümmü Mutlu,Ayşe Merve Ok,Özge Telci Çaklılı,Hülya Hacışahinoğulları,Gülşah Yenidünya Yalın,Özlem Soyluk Selçukbiricik,Ayşe Kubat Üzüm,Kubilay Karşıdağ
出处
期刊:Scientific Reports [Nature Portfolio]
卷期号:15 (1): 43758-43758 被引量:9
标识
DOI:10.1038/s41598-025-27235-y
摘要

Gestational diabetes mellitus (GDM) is a prevalent condition requiring accurate patient education, yet the reliability and readability of large language models (LLMs) in this context remain uncertain. This study evaluated the performance of four LLMs-ChatGPT-4o, Gemini 2.5 Pro, Grok 3.0, and DeepSeek R-1-using 25 patient-oriented questions derived from clinical scenarios. Seven endocrinologists independently rated the responses with the modified DISCERN (mDISCERN) instrument and the Global Quality Score (GQS). Readability was analyzed using the Flesch Reading Ease (FRES), Flesch-Kincaid Grade Level (FKGL), Gunning Fog Index (GFI), Coleman-Liau Index (CLI), and Simple Measure of Gobbledygook (SMOG), while lexical diversity was assessed through type-token ratio (TTR). Grok and Gemini obtained the highest mDISCERN and GQS scores, whereas ChatGPT performed significantly lower (p < 0.05). DeepSeek generated the most readable outputs, while Grok provided the longest and most complex responses. All models scored below the FRES threshold of 60 recommended for lay audiences. Response length showed strong positive correlations with mDISCERN and GQS, while TTR was inversely related to quality but positively associated with readability. These findings highlight variability among LLMs in GDM education and emphasize the need for model-specific improvements to ensure reliable patient-facing health information.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
纯真大象完成签到,获得积分10
刚刚
yyds发布了新的文献求助50
1秒前
molihuakai的应助被D调的华丽采纳,获得10
1秒前
华仔的应助被D调的华丽采纳,获得10
1秒前
hzq完成签到,获得积分10
1秒前
CarryLJR的应助被龙澍采纳,获得10
1秒前
科目三的应助被D调的华丽采纳,获得10
1秒前
2秒前
华仔的应助被D调的华丽采纳,获得10
2秒前
脑洞疼的应助被D调的华丽采纳,获得10
2秒前
隐形曼青的应助被D调的华丽采纳,获得10
2秒前
orixero的应助被D调的华丽采纳,获得10
2秒前
2秒前
万能图书馆的应助被D调的华丽采纳,获得10
2秒前
小蘑菇的应助被D调的华丽采纳,获得10
3秒前
星辰大海的应助被砺行采纳,获得100
3秒前
molihuakai的应助被D调的华丽采纳,获得10
3秒前
小马甲的应助被soda采纳,获得10
3秒前
September发布了新的文献求助10
3秒前
3秒前
5秒前
kuku发布了新的文献求助10
8秒前
8秒前
今后的应助被许伟洋采纳,获得10
8秒前
Luo完成签到,获得积分10
8秒前
9秒前
MM发布了新的文献求助10
12秒前
Yaang发布了新的文献求助30
12秒前
迷路依白发布了新的文献求助10
12秒前
13秒前
余溪发布了新的文献求助10
14秒前
桐桐的应助被机灵的友琴采纳,获得10
15秒前
曲妥珠单抗完成签到,获得积分10
15秒前
hdf完成签到,获得积分20
17秒前
SciGPT的应助被111采纳,获得10
18秒前
18秒前
开心盼海完成签到 ,获得积分10
18秒前
脑洞疼的应助被无敌小宝贝采纳,获得10
18秒前
19秒前
20秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
Grapes 1000
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8178960
求助须知:如何正确求助?哪些是违规求助? 9569638
关于积分的说明 21805682
捐赠科研通 7774071
什么是DOI,文献DOI怎么找? 3432955
关于科研通互助平台的介绍 2556897
邀请新用户注册赠送积分活动 2478640