Large-Scale 3D Medical Image Pre-training with Geometric Context Priors

先验概率 背景(考古学) 比例(比率) 计算机科学 人工智能 图像(数学) 培训(气象学) 计算机视觉 数学 地理 贝叶斯概率 地图学 气象学 考古
作者
Linshan Wu,Jiaxin Zhuang,Hao Chen
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:3
标识
DOI:10.48550/arxiv.2410.09890
摘要

The scarcity of annotations poses a significant challenge in medical image analysis. Large-scale pre-training has emerged as a promising label-efficient solution, owing to the utilization of large-scale data, large models, and advanced pre-training techniques. However, its development in medical images remains underexplored. The primary challenge lies in harnessing large-scale unlabeled data and learning high-level semantics without annotations. We observe that 3D medical images exhibit consistent geometric context, i.e., consistent geometric relations between different organs, which leads to a promising way for learning consistent representations. Motivated by this, we introduce a simple-yet-effective Volume Contrast (VoCo) framework to leverage geometric context priors for self-supervision. Given an input volume, we extract base crops from different regions to construct positive and negative pairs for contrastive learning. Then we predict the contextual position of a random crop by contrasting its similarity to the base crops. In this way, VoCo encodes the inherent geometric context into model representations, facilitating high-level semantic learning without annotations. Specifically, we (1) introduce the largest medical pre-training dataset PreCT-160K; (2) investigate scaling laws and propose guidelines for tailoring different model sizes to various medical tasks; (3) build a benchmark encompassing 48 medical tasks. Extensive experiments highlight the superiority of VoCo. Codes at https://github.com/Luffy03/Large-Scale-Medical.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
pink婷完成签到 ,获得积分10
刚刚
任性子骞完成签到,获得积分10
2秒前
慕青的应助被小涵采纳,获得10
2秒前
3秒前
米豆完成签到 ,获得积分10
3秒前
猪猪hero的应助被优雅的曲奇饼采纳,获得10
3秒前
归宁完成签到,获得积分10
3秒前
旧年完成签到 ,获得积分10
4秒前
chan发布了新的文献求助10
5秒前
温暖的绮彤完成签到 ,获得积分10
5秒前
kk发布了新的文献求助10
6秒前
Lin发布了新的文献求助10
7秒前
清蒸青衣鱼完成签到,获得积分10
7秒前
蔼看文献发布了新的文献求助10
8秒前
Orange的应助被沉默的咖啡豆采纳,获得10
9秒前
靓丽醉蝶的应助被隐无名采纳,获得10
10秒前
layzhj完成签到,获得积分10
10秒前
11秒前
寒耒完成签到,获得积分10
12秒前
12秒前
weifengzhong发布了新的文献求助10
12秒前
13秒前
负责平蝶完成签到,获得积分10
13秒前
孙某人发布了新的文献求助30
14秒前
14秒前
14秒前
激动的项链完成签到,获得积分10
14秒前
想要吉姆尼完成签到,获得积分10
15秒前
15秒前
史聪聪发布了新的文献求助30
16秒前
17秒前
zqr完成签到,获得积分10
18秒前
yejian完成签到,获得积分10
18秒前
18秒前
依然完成签到,获得积分10
18秒前
19秒前
20秒前
mint发布了新的文献求助10
20秒前
动听的柜子完成签到,获得积分10
20秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
John McDowells Bildungstheorie 800
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
Handbook of Pharmaceutical Excipients. 9th ed 400
Synthesis, Application and Future Perspectives of Smart Nano-materials - Part 1 400
Breaking the World 300
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8153668
求助须知:如何正确求助?哪些是违规求助? 9550448
关于积分的说明 21698499
捐赠科研通 7742484
什么是DOI,文献DOI怎么找? 3425564
关于科研通互助平台的介绍 2550698
邀请新用户注册赠送积分活动 2469211