MedIM: Boost Medical Image Representation via Radiology Report-Guided Masking

遮罩(插图) 计算机科学 判别式 人工智能 分割 图像(数学) 模式识别(心理学) 代表(政治) 计算机视觉 艺术 政治 政治学 法学 视觉艺术
作者
Yutong Xie,Lin Gu,Tatsuya Harada,Jianpeng Zhang,Yong Xia,Qi Wu
出处
期刊:Lecture Notes in Computer Science 卷期号:: 13-23
标识
DOI:10.1007/978-3-031-43907-0_2
摘要

Masked image modelling (MIM)-based pre-training shows promise in improving image representations with limited annotated data by randomly masking image patches and reconstructing them. However, random masking may not be suitable for medical images due to their unique pathology characteristics. This paper proposes Masked medical Image Modelling (MedIM), a novel approach, to our knowledge, the first research that masks and reconstructs discriminative areas guided by radiological reports, encouraging the network to explore the stronger semantic representations from medical images. We introduce two mutual comprehensive masking strategies, knowledge word-driven masking (KWM) and sentence-driven masking (SDM). KWM uses Medical Subject Headings (MeSH) words unique to radiology reports to identify discriminative cues mapped to MeSH words and guide the mask generation. SDM considers that reports usually have multiple sentences, each of which describes different findings, and therefore integrates sentence-level information to identify discriminative regions for mask generation. MedIM integrates both strategies by simultaneously restoring the images masked by KWM and SDM for a more robust and representative medical visual representation. Our extensive experiments on various downstream tasks covering multi-label/class image classification, medical image segmentation, and medical image-text analysis, demonstrate that MedIM with report-guided masking achieves competitive performance. Our method substantially outperforms ImageNet pre-training, MIM-based pre-training, and medical image-report pre-training counterparts. Codes are available at https://github.com/YtongXie/MedIM .
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
17秒前
真的耶完成签到 ,获得积分10
21秒前
缓慢芙完成签到,获得积分10
23秒前
xixialison应助hello采纳,获得10
32秒前
留胡子的书桃完成签到 ,获得积分10
40秒前
Xin完成签到 ,获得积分10
54秒前
54秒前
秋雪瑶应助温柔梦松采纳,获得10
55秒前
cyskdsn发布了新的文献求助30
59秒前
天璇完成签到,获得积分10
1分钟前
1分钟前
温柔梦松发布了新的文献求助10
1分钟前
打打应助科研通管家采纳,获得30
1分钟前
田様应助科研通管家采纳,获得10
1分钟前
shitzu完成签到 ,获得积分10
1分钟前
Dobronx03完成签到,获得积分10
1分钟前
贾方硕完成签到,获得积分10
1分钟前
欧阳完成签到 ,获得积分10
1分钟前
瀚子完成签到,获得积分10
1分钟前
Dobronx03完成签到,获得积分10
1分钟前
GXSH发布了新的文献求助10
1分钟前
迪鸣完成签到,获得积分10
1分钟前
liangguangyuan完成签到 ,获得积分10
1分钟前
小白完成签到 ,获得积分10
1分钟前
小鸟芋圆露露完成签到 ,获得积分10
1分钟前
dio完成签到 ,获得积分10
1分钟前
默然的歌完成签到 ,获得积分10
1分钟前
漱玉完成签到 ,获得积分10
2分钟前
2分钟前
ericxu发布了新的文献求助10
2分钟前
ericxu完成签到,获得积分10
2分钟前
yan123完成签到 ,获得积分10
2分钟前
王蕊完成签到 ,获得积分10
2分钟前
jianghs完成签到,获得积分10
2分钟前
wwm98656完成签到,获得积分10
2分钟前
汉堡包应助封小封采纳,获得10
2分钟前
2分钟前
111完成签到,获得积分10
2分钟前
封小封发布了新的文献求助10
2分钟前
科研通AI2S应助封小封采纳,获得10
2分钟前
高分求助中
Un calendrier babylonien des travaux, des signes et des mois: Séries iqqur îpuš 1036
Sustainable Land Management: Strategies to Cope with the Marginalisation of Agriculture 1000
Corrosion and Oxygen Control 600
Python Programming for Linguistics and Digital Humanities: Applications for Text-Focused Fields 500
Heterocyclic Stilbene and Bibenzyl Derivatives in Liverworts: Distribution, Structures, Total Synthesis and Biological Activity 500
重庆市新能源汽车产业大数据招商指南(两链两图两池两库两平台两清单两报告) 400
Division and square root. Digit-recurrence algorithms and implementations 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 有机化学 工程类 生物化学 纳米技术 物理 内科学 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 电极 光电子学 量子力学
热门帖子
关注 科研通微信公众号,转发送积分 2546210
求助须知:如何正确求助?哪些是违规求助? 2175672
关于积分的说明 5600310
捐赠科研通 1896399
什么是DOI,文献DOI怎么找? 946273
版权声明 565379
科研通“疑难数据库(出版商)”最低求助积分说明 503557