清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Comprehensive learning and adaptive teaching: Distilling multi-modal knowledge for pathological glioma grading

计算机科学 分级(工程) 情态动词 推论 人工智能 机器学习 模式 深度学习 模式识别(心理学) 自然语言处理 数据挖掘 社会学 土木工程 工程类 化学 高分子化学 社会科学
作者
Xiaohan Xing,Meilu Zhu,Zhen Chen,Yixuan Yuan
出处
期刊:Medical Image Analysis [Elsevier BV]
卷期号:91: 102990-102990 被引量:12
标识
DOI:10.1016/j.media.2023.102990
摘要

The fusion of multi-modal data, e.g., pathology slides and genomic profiles, can provide complementary information and benefit glioma grading. However, genomic profiles are difficult to obtain due to the high costs and technical challenges, thus limiting the clinical applications of multi-modal diagnosis. In this work, we investigate the realistic problem where paired pathology-genomic data are available during training, while only pathology slides are accessible for inference. To solve this problem, a comprehensive learning and adaptive teaching framework is proposed to improve the performance of pathological grading models by transferring the privileged knowledge from the multi-modal teacher to the pathology student. For comprehensive learning of the multi-modal teacher, we propose a novel Saliency-Aware Masking (SA-Mask) strategy to explore richer disease-related features from both modalities by masking the most salient features. For adaptive teaching of the pathology student, we first devise a Local Topology Preserving and Discrepancy Eliminating Contrastive Distillation (TDC-Distill) module to align the feature distributions of the teacher and student models. Furthermore, considering the multi-modal teacher may include incorrect information, we propose a Gradient-guided Knowledge Refinement (GK-Refine) module that builds a knowledge bank and adaptively absorbs the reliable knowledge according to their agreement in the gradient space. Experiments on the TCGA GBM-LGG dataset show that our proposed distillation framework improves the pathological glioma grading and outperforms other KD methods. Notably, with the sole pathology slides, our method achieves comparable performance with existing multi-modal methods. The code is available at https://github.com/CUHK-AIM-Group/MultiModal-learning.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
优秀函完成签到,获得积分10
14秒前
15秒前
MchemG举报JiaYouguo的求助涉嫌违规
22秒前
23秒前
NN的应助被萧雨墨采纳,获得10
30秒前
30秒前
Aaron发布了新的文献求助10
36秒前
搞怪的方盒完成签到,获得积分10
41秒前
CipherSage的应助被whc采纳,获得10
48秒前
科研通AI65的应助被amiee采纳,获得10
53秒前
1分钟前
1分钟前
lyn123发布了新的文献求助10
1分钟前
所所的应助被葛力采纳,获得10
1分钟前
1分钟前
1分钟前
小马甲的应助被lyn123采纳,获得10
1分钟前
Wang完成签到 ,获得积分20
1分钟前
直率的大门完成签到,获得积分10
1分钟前
陆上飞完成签到,获得积分10
1分钟前
lyn123完成签到,获得积分10
1分钟前
JUN完成签到,获得积分10
1分钟前
1分钟前
zy997987876完成签到,获得积分10
2分钟前
Owen的应助被NavidWarren139采纳,获得40
2分钟前
MchemG举报大点的求助涉嫌违规
2分钟前
2分钟前
大医仁心完成签到 ,获得积分0
2分钟前
潇洒小海豚完成签到,获得积分10
2分钟前
2分钟前
3分钟前
3分钟前
淡定的夜云完成签到 ,获得积分10
3分钟前
3分钟前
3分钟前
圈圈圆了发布了新的文献求助100
3分钟前
3分钟前
3分钟前
顺心的一德完成签到,获得积分10
3分钟前
圈圈圆了完成签到,获得积分10
3分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8190159
求助须知:如何正确求助?哪些是违规求助? 9577264
关于积分的说明 21852314
捐赠科研通 7788621
什么是DOI,文献DOI怎么找? 3436279
关于科研通互助平台的介绍 2560058
邀请新用户注册赠送积分活动 2482880