LIGHT: Learning Image-text Grounding for Hierarchical Tumor Localization and Subtype Classification in Multimodal Brain MRI

人工智能 计算机科学 脑瘤 模式识别(心理学) 计算机视觉 磁共振成像 医学影像学 特征提取 神经影像学 实时核磁共振成像 神经生理学 大脑定位 人工神经网络 计算机断层摄影术 图像处理 深度学习
作者
Zhibing Qiu,Yuxiao Liu,Jianrui Li,Lei Jin,Zhongxiang Ding,Feng Shi,Dinggang G. Shen
出处
期刊:IEEE Transactions on Medical Imaging [Institute of Electrical and Electronics Engineers]
卷期号:45 (11): 1-1
标识
DOI:10.1109/tmi.2026.3718445
摘要

Accurate MRI-based brain tumor analysis requires not only tumor subtype classification but also localization at an anatomical granularity that is consistent with radiology reports. Most vision-only methods address localization and classification as separate label-prediction tasks, and therefore provide limited alignment with the fine-grained anatomical semantics used in routine reporting. To address this limitation, we propose LIGHT (Learning Image-text Grounding for Hierarchical Tumor analysis), a 3D vision-language framework that formulates brain tumor localization and subtype classification as image-text retrieval in a shared embedding space. Given multimodal MRI inputs, LIGHT retrieves coarse anatomical regions, fine-grained subregions, and tumor subtypes in a unified coarse-to-fine procedure. The framework has three main components: 1) a hierarchical retrieval vocabulary containing 21 coarse-grained regions, 563 fine-grained subregions, and 5 tumor subtypes; 2) large-scale foundation pretraining on a curated patient-disjoint in-house dataset of 99,813 MRI-report pairs; and 3) grounded task fine-tuning that uses segmentation-guided tumor crops and multi-template prompt supervision to improve tumor-prompt alignment. Across 11,034 annotated 3D brain tumor MRI cases from in-house, external clinical, and public datasets, LIGHT achieved 72.1% accuracy for coarse-grained localization, 70.1% top-1 accuracy for fine-grained localization, and 76.0%, 83.7%, and 84.6% accuracy for subtype classification on three 3D datasets, respectively. Additional public 2D subtype-classification experiments provide further evidence of cross-setting subtype recognition. These results suggest that report-grounded image-text retrieval can provide interpretable anatomical and diagnostic outputs for brain tumor MRI analysis. Code: https://github.com/qiuzhaoyu/LIGHT.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
zzz627完成签到,获得积分10
刚刚
2秒前
然来溪完成签到 ,获得积分10
2秒前
魏凯源完成签到,获得积分10
4秒前
没有名称完成签到,获得积分10
7秒前
null的应助被生动的乐曲采纳,获得10
7秒前
long完成签到 ,获得积分10
8秒前
10秒前
无奈枕头完成签到,获得积分10
11秒前
qingshui完成签到,获得积分10
12秒前
自觉夏彤完成签到,获得积分10
12秒前
butter完成签到,获得积分10
13秒前
一一完成签到 ,获得积分10
13秒前
Xccc完成签到,获得积分20
14秒前
立na完成签到,获得积分10
14秒前
14秒前
WN完成签到,获得积分10
15秒前
科研小将发布了新的文献求助10
16秒前
里工完成签到 ,获得积分10
17秒前
Gong完成签到 ,获得积分10
17秒前
繁荣的安白完成签到 ,获得积分10
18秒前
瘦瘦的枫叶完成签到 ,获得积分10
19秒前
嘴嘴是大嘴007完成签到,获得积分10
20秒前
无奈的萍完成签到,获得积分10
21秒前
李大胖胖完成签到 ,获得积分0
22秒前
feiyang完成签到 ,获得积分0
23秒前
chen完成签到 ,获得积分10
24秒前
兴奋的天蓉完成签到 ,获得积分10
24秒前
愉快的友绿完成签到 ,获得积分10
25秒前
Xccc发布了新的文献求助10
26秒前
yang完成签到 ,获得积分10
27秒前
苗条的访冬完成签到 ,获得积分10
27秒前
英俊的铭的应助被活泼雪莲采纳,获得10
27秒前
卞卞完成签到,获得积分10
27秒前
趙途嘵生完成签到,获得积分10
29秒前
lyra1111完成签到,获得积分10
30秒前
34秒前
火星上的山河完成签到 ,获得积分10
35秒前
风趣的月光完成签到 ,获得积分10
36秒前
寒冷的映冬完成签到,获得积分10
36秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Hidden Empire of Finance: How Wall Street Profits from Our Cities and Fuels Global Inequality 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8166556
求助须知:如何正确求助?哪些是违规求助? 9559576
关于积分的说明 21750809
捐赠科研通 7757392
什么是DOI,文献DOI怎么找? 3429167
关于科研通互助平台的介绍 2553530
邀请新用户注册赠送积分活动 2473923