ATDFusion: Adapter-Tuned Dual-Branch Network for multimodal medical image fusion

计算机科学 安全性令牌 人工智能 一般化 突出 图像融合 背景(考古学) 代表(政治) 适配器(计算) 图像(数学) 计算机视觉 语义映射 模态(人机交互) 编码(集合论) 编码(内存) 融合 模式 融合规则 空间语境意识 语义鸿沟 解码方法 语义学(计算机科学) 联营 模式识别(心理学) 上下文模型 信息丢失 机器学习 医学影像学
作者
Chenyang Li,Rui Zhu,Hongyun Zhao,Xiongfei Li,Xi Zhang
出处
期刊:Pattern Recognition [Elsevier BV]
卷期号:179: 113848-113848
标识
DOI:10.1016/j.patcog.2026.113848
摘要

Multimodal medical image fusion aims to combine complementary visual information from different imaging modalities to assist diagnosis and clinical decision-making. Existing methods often struggle to balance global semantic representation and local detail preservation, leading to blurred or incomplete features in salient regions. This work proposes ATDFusion (Adapter-Tuned Dual-Branch Network), featuring a global semantic branch and an auxiliary detail branch to jointly capture high-level context and fine-grained details. A Low-Rank Dynamic Token Adapter (LR-DTA) adaptively fine-tunes intermediate layers of pretrained models based on token number and rank. Additionally, a Fusion Enhancement Guidance (FEG) module imposes explicit spatial supervision via a saliency-aware loss to strictly preserve diagnostically critical regions. On three typical tasks (MRI-CT, MRI-PET, MRI-SPECT), ATDFusion surpasses state-of-the-art methods, improving SSIM and CC by 11.93% and 5.07%, respectively. Other metrics (e.g., EN, PSNR) also achieve leading results, validating its effectiveness. Furthermore, the model demonstrates strong zero-shot generalization on the unseen HECKTOR 2025 dataset. Code is available at https://github.com/pluto628/ATDFusion . • Asymmetric dual-branch framework resolves the semantic-detail trade-off. • Low-Rank Dynamic Token Adapter realizes efficient sample-specific fine-tuning. • Explicit spatial supervision guarantees the retention of metabolic/anatomical hotspots. • Achieves SOTA performance with strong zero-shot generalization on unseen datasets.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
刚刚
刚刚
观赏热带鱼完成签到,获得积分10
刚刚
SDD发布了新的文献求助10
刚刚
刚刚
微凉完成签到,获得积分10
刚刚
六神曲发布了新的文献求助10
刚刚
赘婿应助杨文志采纳,获得10
刚刚
刚刚
1秒前
xixi完成签到,获得积分10
1秒前
天辰发布了新的文献求助20
1秒前
乐乐应助liii采纳,获得30
1秒前
番茄米线儿完成签到 ,获得积分20
2秒前
共享精神应助刘丽忠采纳,获得10
2秒前
2秒前
小棠完成签到,获得积分10
2秒前
yuyu发布了新的文献求助10
2秒前
深情安青应助梦溪采纳,获得10
2秒前
领导范儿应助木槿采纳,获得10
2秒前
LovE完成签到,获得积分10
2秒前
奥里给医学生完成签到,获得积分10
2秒前
2秒前
2秒前
rui发布了新的文献求助10
2秒前
3秒前
3秒前
优秀的冬衣应助aa采纳,获得10
3秒前
3秒前
开心的怀薇关注了科研通微信公众号
3秒前
干嘛发布了新的文献求助10
4秒前
www完成签到,获得积分10
4秒前
YiLuck发布了新的文献求助10
4秒前
4秒前
秋qiu完成签到,获得积分10
4秒前
华仔应助HC采纳,获得10
4秒前
曾礽发布了新的文献求助10
5秒前
5秒前
5秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
Essentials of Carbohydrate Chemistry and Biochemistry, 4th Edition 800
Navigating Normative Orders. Interdisciplinary Perspectives 800
Organizational Behavior 510
Management and the Arts 510
Matrix Methods in Data Mining and Pattern Recognition Second Edition 510
CLSI VET01S-2024 Performance Standards for Antimicrobial Disk and Dilution Susceptibility Tests for Bacteria Isolated From Animals (7th Ed) 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 化学工程 工程类 有机化学 物理 复合材料 生物化学 内科学 细胞生物学 基因 遗传学 免疫学 冶金 光电子学 癌症研究
热门帖子
关注 科研通微信公众号,转发送积分 7762698
求助须知:如何正确求助?哪些是违规求助? 9307314
关于积分的说明 20299777
捐赠科研通 7347212
什么是DOI,文献DOI怎么找? 3313679
关于科研通互助平台的介绍 2463606
邀请新用户注册赠送积分活动 2327854