亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整的填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

A medical multimodal large language model for future pandemics

计算机科学 模态(人机交互) 人工智能 工作量 语义学(计算机科学) 2019年冠状病毒病(COVID-19) 考试(生物学) 自然语言处理 机器学习 语言模型 卷积神经网络 深度学习 疾病 医学 病理 古生物学 传染病(医学专业) 生物 程序设计语言 操作系统
作者
Fenglin Liu,Tingting Zhu,Xian Wang,Bohan Yang,Chenyu You,Chenyang Wang,Lei Lu,Zhangdaihong Liu,Yefeng Zheng,Xingming Sun,Yang Yang,Lei Clifton,David A. Clifton
出处
期刊:npj digital medicine [Springer Nature]
卷期号:6 (1) 被引量:3
标识
DOI:10.1038/s41746-023-00952-2
摘要

Deep neural networks have been integrated into the whole clinical decision procedure which can improve the efficiency of diagnosis and alleviate the heavy workload of physicians. Since most neural networks are supervised, their performance heavily depends on the volume and quality of available labels. However, few such labels exist for rare diseases (e.g., new pandemics). Here we report a medical multimodal large language model (Med-MLLM) for radiograph representation learning, which can learn broad medical knowledge (e.g., image understanding, text semantics, and clinical phenotypes) from unlabelled data. As a result, when encountering a rare disease, our Med-MLLM can be rapidly deployed and easily adapted to them with limited labels. Furthermore, our model supports medical data across visual modality (e.g., chest X-ray and CT) and textual modality (e.g., medical report and free-text clinical note); therefore, it can be used for clinical tasks that involve both visual and textual data. We demonstrate the effectiveness of our Med-MLLM by showing how it would perform using the COVID-19 pandemic "in replay". In the retrospective setting, we test the model on the early COVID-19 datasets; and in the prospective setting, we test the model on the new variant COVID-19-Omicron. The experiments are conducted on 1) three kinds of input data; 2) three kinds of downstream tasks, including disease reporting, diagnosis, and prognosis; 3) five COVID-19 datasets; and 4) three different languages, including English, Chinese, and Spanish. All experiments show that our model can make accurate and robust COVID-19 decision-support with little labelled data.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
许结朱陈完成签到,获得积分20
13秒前
rocky15应助21采纳,获得10
14秒前
永恒之光完成签到 ,获得积分20
18秒前
23秒前
健忘数据线完成签到 ,获得积分10
25秒前
英勇幻姬发布了新的文献求助10
28秒前
永恒之光关注了科研通微信公众号
35秒前
39秒前
54秒前
嗯en完成签到 ,获得积分10
57秒前
科研通AI2S应助科研通管家采纳,获得10
1分钟前
南宫古伦发布了新的文献求助10
1分钟前
英勇幻姬发布了新的文献求助10
1分钟前
cc2713206完成签到,获得积分10
1分钟前
gy完成签到,获得积分10
1分钟前
1分钟前
隐形曼青应助永恒之光采纳,获得10
1分钟前
YHY发布了新的文献求助10
1分钟前
tao完成签到 ,获得积分10
2分钟前
郑宏威发布了新的文献求助10
2分钟前
YHY完成签到,获得积分10
2分钟前
万能图书馆应助郑宏威采纳,获得10
2分钟前
英勇幻姬完成签到,获得积分10
2分钟前
安然无恙完成签到 ,获得积分10
2分钟前
郑宏威完成签到,获得积分10
2分钟前
星辰大海应助满地枫叶采纳,获得10
2分钟前
2分钟前
忍冬半夏应助SONGYEZI采纳,获得50
2分钟前
2分钟前
bai123完成签到,获得积分20
2分钟前
科研通AI2S应助科研通管家采纳,获得10
2分钟前
呆呆的猕猴桃完成签到 ,获得积分10
3分钟前
3分钟前
子平完成签到 ,获得积分10
3分钟前
永恒之光发布了新的文献求助10
3分钟前
3分钟前
gzsy完成签到 ,获得积分10
3分钟前
乐乐应助唐汉采纳,获得10
3分钟前
三三得九完成签到 ,获得积分10
3分钟前
彭于晏应助alin采纳,获得10
3分钟前
高分求助中
Un calendrier babylonien des travaux, des signes et des mois: Séries iqqur îpuš 1036
Sustainable Land Management: Strategies to Cope with the Marginalisation of Agriculture 1000
Corrosion and Oxygen Control 600
Heterocyclic Stilbene and Bibenzyl Derivatives in Liverworts: Distribution, Structures, Total Synthesis and Biological Activity 500
重庆市新能源汽车产业大数据招商指南(两链两图两池两库两平台两清单两报告) 400
Division and square root. Digit-recurrence algorithms and implementations 400
行動データの計算論モデリング 強化学習モデルを例として 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 有机化学 工程类 生物化学 纳米技术 物理 内科学 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 电极 光电子学 量子力学
热门帖子
关注 科研通微信公众号,转发送积分 2545244
求助须知:如何正确求助?哪些是违规求助? 2175612
关于积分的说明 5600078
捐赠科研通 1896314
什么是DOI,文献DOI怎么找? 946171
版权声明 565327
科研通“疑难数据库(出版商)”最低求助积分说明 503541