清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

MIND: Multimodal Intent-Driven Network via Diffusion Transformers for Medical Image Fusion

计算机科学 图像融合 人工智能 融合 计算机视觉 分割 医学影像学 图像(数学) 一致性(知识库) 过程(计算) 图像分割 变压器 可视化 模式识别(心理学) 图像处理 特征提取 冗余(工程) 桥接(联网) 深度学习 数据挖掘 语义鸿沟 融合规则 传感器融合 模式 信息融合
作者
Yunzhan Fu,Xiangyu Shen,Yifei Sun,Yuhan Chen,Jian Wu,Hongxia Xu
出处
期刊: [Association for Computing Machinery]
卷期号:: 2091-2100 被引量:1
标识
DOI:10.1145/3767308.3836491
摘要

Medical image fusion aims to integrate complementary information from diverse imaging modalities to support clinical diagnosis. Existing methods typically apply uniform fusion rules globally, lacking a deep understanding of diagnostic intents and pathological structures. To address these limitations, we propose MIND, a Multimodal Intent-Driven Network via Diffusion Transformers (DiTs) for medical image fusion. Specifically, we utilize BioMedGPT to generate intent-driven fusion texts from source images, guiding the fusion process with pathology-aware diagnostic intents. To combat the loss of 2D spatial continuity caused by 1D sequence flattening in DiTs, we design a Multi-scale Latent Adapter. This module explicitly extracts source image features before serialization, injecting them into the network via strict dimensional alignment to effectively supplement image features. To resolve the semantic shift caused by decoupling image outputs from diagnostic intents, we design a medical semantic consistency loss. This loss ensures deep semantic locking between fused images and fusion texts while maintaining the stability of the underlying physical manifold reconstruction. Comprehensive experiments on the Harvard, BraTS, and GFP datasets reveal that MIND delivers superior fusion quality, significantly improves downstream brain tumor segmentation accuracy, and enables flexible interactive fusion, holding significant promise for intent-driven intelligent clinical decision support systems.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
贪玩的夏真完成签到,获得积分10
5秒前
科研通AI6.4的应助被xingsixs采纳,获得10
5秒前
风中的世平完成签到,获得积分10
13秒前
Aman完成签到,获得积分10
13秒前
懒得起名字完成签到 ,获得积分10
18秒前
温暖的胜完成签到,获得积分10
24秒前
无悔完成签到 ,获得积分0
37秒前
纯真的雁凡完成签到,获得积分10
39秒前
柔弱的铅笔完成签到,获得积分10
41秒前
Tracy发布了新的文献求助10
47秒前
52秒前
顺利夏云完成签到,获得积分10
1分钟前
xingsixs发布了新的文献求助10
1分钟前
Tracy完成签到,获得积分10
1分钟前
zwlei完成签到,获得积分10
1分钟前
腼腆的雪珊完成签到,获得积分10
1分钟前
热情的衬衫完成签到,获得积分10
1分钟前
xingsixs完成签到,获得积分10
1分钟前
危机的白凡完成签到,获得积分10
1分钟前
徐伟业完成签到 ,获得积分10
1分钟前
RetchieLi完成签到,获得积分10
1分钟前
1分钟前
无限幻枫发布了新的文献求助10
1分钟前
眼睛大的向彤完成签到,获得积分10
1分钟前
俭朴映寒完成签到,获得积分10
2分钟前
汉堡包的应助被bluemoon采纳,获得10
2分钟前
2分钟前
王磊磊0811发布了新的文献求助10
2分钟前
害羞傲安完成签到,获得积分10
2分钟前
外向夜阑完成签到,获得积分10
2分钟前
LINDENG2004完成签到 ,获得积分10
2分钟前
年轻千萍完成签到,获得积分10
2分钟前
睡不醒完成签到 ,获得积分10
2分钟前
简单的不平完成签到,获得积分10
3分钟前
一个爱打乒乓球的彪完成签到 ,获得积分10
3分钟前
单身的涫完成签到,获得积分10
3分钟前
闪闪小凡完成签到,获得积分10
3分钟前
孝顺的冰姬完成签到,获得积分10
3分钟前
拼搏愚志完成签到,获得积分10
3分钟前
田田完成签到 ,获得积分10
3分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8158937
求助须知:如何正确求助?哪些是违规求助? 9554526
关于积分的说明 21719385
捐赠科研通 7748487
什么是DOI,文献DOI怎么找? 3427107
关于科研通互助平台的介绍 2552013
邀请新用户注册赠送积分活动 2471370