A multimodal foundation model for molecular and morphologic data in oncology

基础(证据) 分子病理学 病理 医学 生物 历史 考古 生物化学 基因
作者
Anurag Jayant Vaidya,Andrew Zhang,Guillaume Jaume,Andrew H. Song,Tong Ding,Sophia J. Wagner,Ming Y. Lu,Harry Robertson,Drew F. K. Williamson,Paul Doucet,Cristina Almagro-Pérez,Richard J. Chen,Dina ElHarouni,Georges Ayoub,Connor C. Bossi,Keith Lloyd Ligon,Ellis Patrick,Himisha Beltran,Laura Macconaill,Neal Lindeman
出处
期刊:Nature cancer [Nature Portfolio]
卷期号:7 (11): 1690-1708 被引量:130
标识
DOI:10.1038/s43018-026-01252-w
摘要

Foundation models are reshaping computational pathology by enabling transfer learning, where models pre-trained on vast datasets can be adapted for downstream diagnostic, prognostic, and therapeutic response tasks. Despite these advances, foundation models are still limited in their ability to encode the entire gigapixel whole-slide images without additional training and often lack complementary multimodal data. Here, we introduce Threads, a slide-level foundation model capable of generating universal representations of whole-slide images of any size. Threads was pre-trained using a multimodal learning approach on a diverse cohort of 47,171 hematoxylin and eosin (H&E)-stained tissue sections, paired with corresponding genomic and transcriptomic profiles - the largest such paired dataset to be used for foundation model development to date. This unique training paradigm enables Threads to capture the tissue's underlying molecular composition, yielding powerful representations applicable to a wide array of downstream tasks. In extensive benchmarking across 54 oncology tasks, including clinical subtyping, grading, mutation prediction, immunohistochemistry status determination, treatment response prediction, and survival prediction, Threads outperformed all baselines while demonstrating remarkable generalizability and label efficiency. It is particularly well suited for predicting rare events, further emphasizing its clinical utility. We intend to make the model publicly available for the broader community.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
经十路以东的应助被皮卡布采纳,获得10
1秒前
Huang完成签到 ,获得积分10
1秒前
科研通AI6.2的应助被皮卡布采纳,获得10
2秒前
2秒前
2秒前
2秒前
3秒前
挽风发布了新的文献求助10
3秒前
1733发布了新的文献求助20
4秒前
Orange的应助被小沈采纳,获得10
4秒前
gfydsl发布了新的文献求助10
5秒前
酷波er的应助被雾散采纳,获得10
6秒前
6秒前
7秒前
7秒前
经十路以东的应助被李佳佳采纳,获得10
7秒前
7秒前
8秒前
伍寒烟发布了新的文献求助10
8秒前
克里斯蒂娜完成签到 ,获得积分10
9秒前
烟花的应助被优雅尔芙采纳,获得10
10秒前
10秒前
Hello的应助被pokexuejiao采纳,获得20
10秒前
qqqqqqqqqq发布了新的文献求助50
11秒前
wellforever发布了新的文献求助10
11秒前
12秒前
12秒前
东风的应助被陈琛琛采纳,获得30
13秒前
13秒前
犹豫忆南发布了新的文献求助10
13秒前
13秒前
伍寒烟完成签到,获得积分10
13秒前
耳喃完成签到,获得积分10
14秒前
14秒前
柯基完成签到,获得积分10
15秒前
川里九樱发布了新的文献求助10
15秒前
prank完成签到,获得积分10
17秒前
美好含巧发布了新的文献求助10
18秒前
潇洒依白发布了新的文献求助10
18秒前
木夕完成签到,获得积分10
18秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8194107
求助须知:如何正确求助?哪些是违规求助? 9580062
关于积分的说明 21869017
捐赠科研通 7793713
什么是DOI,文献DOI怎么找? 3437523
关于科研通互助平台的介绍 2560962
邀请新用户注册赠送积分活动 2484264