HiCur-NPC: Hierarchical Feature Fusion Curriculum Learning for Multi-Modal Foundation Model in Nasopharyngeal Carcinoma

鼻咽癌 情态动词 特征(语言学) 基础(证据) 计算机科学 人工智能 特征提取 医学 放射治疗 放射科 材料科学 历史 语言学 哲学 考古 高分子化学
作者
Zipei Wang,Mengjie Fang,Ling‐Long Tang,Jie Tian,Di Dong
出处
期刊:IEEE Transactions on Medical Imaging [Institute of Electrical and Electronics Engineers]
卷期号:44 (10): 3997-4009 被引量:8
标识
DOI:10.1109/tmi.2025.3558775
摘要

Providing precise and comprehensive diagnostic information to clinicians is crucial for improving the treatment and prognosis of nasopharyngeal carcinoma. Multi-modal foundation models, which can integrate data from various sources, have the potential to significantly enhance clinical assistance. However, several challenges remain: (1) the lack of large-scale visual-language datasets for nasopharyngeal carcinoma; (2) the inability of existing pre-training and fine-tuning methods to capture the hierarchical features required for complex clinical tasks; (3) current foundation models having limited visual perception due to inadequate integration of multi-modal information. While curriculum learning can improve a model's ability to handle multiple tasks through systematic knowledge accumulation, it still lacks consideration for hierarchical features and their dependencies, affecting knowledge gains. To address these issues, we propose the Hierarchical Feature Fusion Curriculum Learning method, which consists of three stages: visual knowledge learning, coarse-grained alignment, and fine-grained fusion. First, we introduce the Hybrid Contrastive Masked Autoencoder to pre-train visual encoders on 755K multi-modal images of nasopharyngeal carcinoma CT, MRI, and endoscopy to fully extract deep visual information. Then, we construct a 65K visual instruction fine-tuning dataset based on open-source data and clinician diagnostic reports, achieving coarse-grained alignment with visual information in a large language model. Finally, we design a Mixture of Experts Cross Attention structure for deep fine-grained fusion of global multi-modal information. Our model outperforms previously developed specialized models in all key clinical tasks for nasopharyngeal carcinoma, including diagnosis, report generation, tumor segmentation, and prognosis.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
万能图书馆的应助被shusz采纳,获得10
1秒前
张欢欢完成签到,获得积分10
1秒前
Lucas的应助被冷酷画板采纳,获得10
2秒前
憨先生完成签到,获得积分20
3秒前
水牛完成签到,获得积分10
5秒前
叮咚咚发布了新的文献求助10
5秒前
5秒前
暴龙战士发布了新的文献求助10
6秒前
沐木关注了科研通微信公众号
6秒前
UNIQUE完成签到,获得积分10
7秒前
牛初辰完成签到 ,获得积分10
7秒前
小二郎的应助被轩仔子采纳,获得10
7秒前
Yes完成签到,获得积分10
8秒前
可妍昇发布了新的文献求助10
9秒前
传奇3的应助被xiaolong采纳,获得10
9秒前
10秒前
fanyy完成签到,获得积分10
10秒前
11秒前
coco完成签到,获得积分10
13秒前
昏睡的坚果完成签到 ,获得积分10
13秒前
Yu完成签到,获得积分10
14秒前
transition完成签到,获得积分10
14秒前
简单山水发布了新的文献求助10
15秒前
16秒前
17秒前
小Z完成签到,获得积分10
18秒前
18秒前
xuliang完成签到,获得积分10
18秒前
19秒前
沐木发布了新的文献求助30
21秒前
yrz完成签到,获得积分20
22秒前
斯文败类的应助被xwx采纳,获得10
23秒前
徐丹枫发布了新的文献求助10
23秒前
23秒前
乌龙茶发布了新的文献求助10
23秒前
我是老大的应助被科研通管家采纳,获得10
23秒前
深情安青的应助被科研通管家采纳,获得10
24秒前
24秒前
FashionBoy的应助被科研通管家采纳,获得50
24秒前
情怀的应助被科研通管家采纳,获得10
24秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
Boundaries and Bodhisattvas 500
高分子基功能界面水蒸发材料与应用研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8181767
求助须知:如何正确求助?哪些是违规求助? 9571480
关于积分的说明 21818225
捐赠科研通 7778030
什么是DOI,文献DOI怎么找? 3433524
关于科研通互助平台的介绍 2557696
邀请新用户注册赠送积分活动 2479598