亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Pathway-Aware Multimodal Transformer (PAMT): Integrating Pathological Image and Gene Expression for Interpretable Cancer Survival Analysis

人工智能 计算机科学 变压器 模式识别(心理学) 计算生物学 融合基因 模式 机器学习 计算机视觉 判别式 模态(人机交互) 肺癌 图像融合 信息融合 表达式(计算机科学) 图像(数学) 病态的 深度学习 基因表达谱 语义学(计算机科学) 医学影像学 癌症存活率 可视化 特征提取 融合 上下文图像分类 数据挖掘 基本事实
作者
Rui Yan,Xueyuan Zhang,Zihang Jiang,Baizhi Wang,Xiuwu Bian,Fei Ren,S. Kevin Zhou
出处
期刊:IEEE Transactions on Pattern Analysis and Machine Intelligence [IEEE Computer Society]
卷期号:48 (1): 896-913 被引量:5
标识
DOI:10.1109/tpami.2025.3611531
摘要

Integrating multimodal data of pathological image and gene expression for cancer survival analysis can achieve better results than using a single modality. However, existing multimodal learning methods ignore fine-grained interactions between both modalities, especially the interactions between biological pathways and pathological image patches. In this article, we propose a novel Pathway-Aware Multimodal Transformer (PAMT) framework for interpretable cancer survival analysis. Specifically, the PAMT learns fine-grained modality interaction through three stages: (1) In the intra-modal pathway-pathway / patch-patch interaction stage, we use the Transformer model to perform intra-modal information interaction; (2) In the inter-modal pathway-patch alignment stage, we introduce a novel label-free contrastive loss to aligns semantic information between different modalities so that the features of the two modalities are mapped to the same semantic space; and (3) In the inter-modal pathway-patch fusion stage, to model the medical prior knowledge of "genotype determines phenotype", we propose a pathway-to-patch cross fusion module to perform inter-modal information interaction under the guidance of pathway prior. In addition, the inter-modal cross fusion module of PAMT endows good interpretability, helping a pathologist to screen which pathway plays a key role, to locate where on whole slide image (WSI) are affected by the pathway, and to mine prognosis-relevant pathology image patterns. Experimental results based on three datasets of bladder urothelial carcinoma, lung squamous cell carcinoma, and lung adenocarcinoma demonstrate that the proposed framework significantly outperforms the state-of-the-art methods.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
小二郎的应助被leo采纳,获得10
5秒前
优雅的大白菜完成签到 ,获得积分10
9秒前
李李李完成签到 ,获得积分10
12秒前
CipherSage的应助被VuuVuu采纳,获得10
13秒前
传奇3的应助被VuuVuu采纳,获得10
13秒前
汉堡包的应助被刘研采纳,获得10
16秒前
Peiqi的应助被大气吐司采纳,获得10
22秒前
24秒前
24秒前
25秒前
刘研发布了新的文献求助10
29秒前
欢呼亦竹发布了新的文献求助10
30秒前
leo发布了新的文献求助10
30秒前
30秒前
36秒前
希望天下0贩的0的应助被leo采纳,获得30
36秒前
初景的应助被Kyrie采纳,获得20
40秒前
忧郁思远完成签到,获得积分10
42秒前
45秒前
orixero的应助被科研通管家采纳,获得10
45秒前
45秒前
柳贯一发布了新的文献求助10
52秒前
55秒前
星野的应助被白华苍松采纳,获得10
59秒前
NA01UM10完成签到,获得积分10
1分钟前
回家放羊完成签到 ,获得积分10
1分钟前
1分钟前
leo发布了新的文献求助30
1分钟前
1分钟前
fheu发布了新的文献求助10
1分钟前
1分钟前
感性的远航完成签到,获得积分10
1分钟前
yc发布了新的文献求助10
1分钟前
科研通AI65的应助被yc采纳,获得10
1分钟前
平城落叶完成签到,获得积分10
1分钟前
顾矜的应助被leo采纳,获得10
1分钟前
Yanyu完成签到,获得积分10
1分钟前
suge完成签到,获得积分10
1分钟前
2分钟前
清脆世界完成签到 ,获得积分10
2分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8190085
求助须知:如何正确求助?哪些是违规求助? 9577216
关于积分的说明 21852078
捐赠科研通 7788267
什么是DOI,文献DOI怎么找? 3436259
关于科研通互助平台的介绍 2559977
邀请新用户注册赠送积分活动 2482845