亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整的填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

MedIM: Boost Medical Image Representation via Radiology Report-Guided Masking

遮罩(插图) 计算机科学 判别式 人工智能 分割 图像(数学) 模式识别(心理学) 代表(政治) 计算机视觉 艺术 政治 政治学 法学 视觉艺术
作者
Yutong Xie,Lin Gu,Tatsuya Harada,Jianpeng Zhang,Yong Xia,Qi Wu
出处
期刊:Lecture Notes in Computer Science 卷期号:: 13-23
标识
DOI:10.1007/978-3-031-43907-0_2
摘要

Masked image modelling (MIM)-based pre-training shows promise in improving image representations with limited annotated data by randomly masking image patches and reconstructing them. However, random masking may not be suitable for medical images due to their unique pathology characteristics. This paper proposes Masked medical Image Modelling (MedIM), a novel approach, to our knowledge, the first research that masks and reconstructs discriminative areas guided by radiological reports, encouraging the network to explore the stronger semantic representations from medical images. We introduce two mutual comprehensive masking strategies, knowledge word-driven masking (KWM) and sentence-driven masking (SDM). KWM uses Medical Subject Headings (MeSH) words unique to radiology reports to identify discriminative cues mapped to MeSH words and guide the mask generation. SDM considers that reports usually have multiple sentences, each of which describes different findings, and therefore integrates sentence-level information to identify discriminative regions for mask generation. MedIM integrates both strategies by simultaneously restoring the images masked by KWM and SDM for a more robust and representative medical visual representation. Our extensive experiments on various downstream tasks covering multi-label/class image classification, medical image segmentation, and medical image-text analysis, demonstrate that MedIM with report-guided masking achieves competitive performance. Our method substantially outperforms ImageNet pre-training, MIM-based pre-training, and medical image-report pre-training counterparts. Codes are available at https://github.com/YtongXie/MedIM .
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1分钟前
晓晓晓完成签到,获得积分20
1分钟前
晓晓晓发布了新的文献求助10
1分钟前
1分钟前
Rin发布了新的文献求助10
1分钟前
1分钟前
2分钟前
Rigel完成签到,获得积分10
2分钟前
Rigel发布了新的文献求助10
2分钟前
Flexy发布了新的文献求助10
2分钟前
Flexy发布了新的文献求助10
3分钟前
科研通AI2S应助Flexy采纳,获得10
3分钟前
欢喜的慕青完成签到 ,获得积分10
3分钟前
昵称完成签到 ,获得积分10
3分钟前
江湖小妖完成签到 ,获得积分10
5分钟前
5分钟前
俏皮诺言完成签到,获得积分10
6分钟前
messi发布了新的文献求助30
6分钟前
星辰大海应助海燕采纳,获得30
7分钟前
Ji完成签到 ,获得积分10
7分钟前
messi发布了新的文献求助10
7分钟前
messi发布了新的文献求助10
7分钟前
8分钟前
9分钟前
桐桐应助孤独的钻石采纳,获得10
9分钟前
9分钟前
9分钟前
白云朵儿发布了新的文献求助10
9分钟前
852应助ach采纳,获得10
10分钟前
海燕发布了新的文献求助30
10分钟前
孤独的钻石完成签到,获得积分10
10分钟前
Cynthia完成签到 ,获得积分10
10分钟前
21完成签到 ,获得积分10
10分钟前
11分钟前
shunzi发布了新的文献求助10
11分钟前
trap1完成签到 ,获得积分10
11分钟前
12分钟前
海燕发布了新的文献求助30
12分钟前
13分钟前
伍美华发布了新的文献求助10
13分钟前
高分求助中
Un calendrier babylonien des travaux, des signes et des mois: Séries iqqur îpuš 1036
Sustainable Land Management: Strategies to Cope with the Marginalisation of Agriculture 1000
Corrosion and Oxygen Control 600
Heterocyclic Stilbene and Bibenzyl Derivatives in Liverworts: Distribution, Structures, Total Synthesis and Biological Activity 500
重庆市新能源汽车产业大数据招商指南(两链两图两池两库两平台两清单两报告) 400
Division and square root. Digit-recurrence algorithms and implementations 400
行動データの計算論モデリング 強化学習モデルを例として 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 有机化学 工程类 生物化学 纳米技术 物理 内科学 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 电极 光电子学 量子力学
热门帖子
关注 科研通微信公众号,转发送积分 2545595
求助须知:如何正确求助?哪些是违规求助? 2175642
关于积分的说明 5600185
捐赠科研通 1896371
什么是DOI,文献DOI怎么找? 946248
版权声明 565371
科研通“疑难数据库(出版商)”最低求助积分说明 503557