Interactive Spatial-Frequency Fusion Mamba for Multi-Modal Image Fusion

图像融合 计算机科学 人工智能 融合 频域 计算机视觉 杠杆(统计) 模式识别(心理学) 提取器 特征提取 传感器融合 空间频率 图像(数学) 稳健性(进化) 图像处理 领域(数学分析) 频率分析 源代码 图像纹理 简单(哲学) 时频分析 编码(集合论) 图像分辨率 可视化 变换编码
作者
Yixin Zhu,Long Lv,Pingping Zhang,Xiaojing Liu,Tongdan Tang,Feng Tian,Weibing Sun,Huchuan Lu
出处
期刊:IEEE transactions on image processing [Institute of Electrical and Electronics Engineers]
卷期号:35: 2380-2392 被引量:11
标识
DOI:10.1109/tip.2026.3662596
摘要

Multi-Modal Image Fusion (MMIF) aims to combine images from different modalities to produce fused images, retaining texture details and preserving significant information. Recently, some MMIF methods incorporate frequency domain information to enhance spatial features. However, these methods typically rely on simple serial or parallel spatial-frequency fusion without interaction. In this paper, we propose a novel Interactive Spatial-Frequency Fusion Mamba (ISFM) framework for MMIF. Specifically, we begin with a Modality-Specific Extractor (MSE) to extract features from different modalities. It models long-range dependencies across the image with linear computational complexity. To effectively leverage frequency information, we then propose a Multi-scale Frequency Fusion (MFF). It adaptively integrates low-frequency and high-frequency components across multiple scales, enabling robust representations of frequency features. More importantly, we further propose an Interactive Spatial-Frequency Fusion (ISF). It incorporates frequency features to guide spatial features across modalities, enhancing complementary representations. Extensive experiments are conducted on six MMIF datasets. The experimental results demonstrate that our ISFM can achieve better performances than other state-of-the-art methods. The source code is available at https://github.com/Namn23/ISFM.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
无花果的应助被李尚岸采纳,获得10
1秒前
科研通AI6.4的应助被li0804ll采纳,获得10
1秒前
嘻嘻哈哈的应助被yu采纳,获得10
1秒前
2秒前
3秒前
王小丫完成签到,获得积分10
3秒前
4秒前
CocoGabrielle完成签到,获得积分10
4秒前
笨笨一完成签到,获得积分20
4秒前
5秒前
如意的导师完成签到,获得积分10
5秒前
5秒前
天苏发布了新的文献求助10
6秒前
6秒前
zclm发布了新的文献求助10
6秒前
DEVIL发布了新的文献求助10
7秒前
隐形曼青的应助被lililil采纳,获得10
7秒前
benyu完成签到,获得积分10
7秒前
实验小学五道杠大队长完成签到,获得积分10
7秒前
星辰大海的应助被兴奋石头采纳,获得10
8秒前
8秒前
一个句号完成签到,获得积分10
8秒前
Liah完成签到,获得积分10
9秒前
呆萌尔风发布了新的文献求助20
9秒前
科研人完成签到,获得积分10
9秒前
小二郎的应助被zc采纳,获得10
10秒前
屿111发布了新的文献求助10
10秒前
healer发布了新的文献求助10
11秒前
lzx完成签到,获得积分10
11秒前
Voyager发布了新的文献求助10
11秒前
Rk发布了新的文献求助10
12秒前
13秒前
13秒前
嘻嘻哈哈的应助被文艺网络采纳,获得10
13秒前
万能图书馆的应助被烨采采纳,获得10
13秒前
bohe完成签到 ,获得积分10
15秒前
15秒前
笨笨一发布了新的文献求助10
16秒前
SCL987654321发布了新的文献求助30
16秒前
小二郎的应助被天苏采纳,获得10
16秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8187592
求助须知:如何正确求助?哪些是违规求助? 9575705
关于积分的说明 21842471
捐赠科研通 7785407
什么是DOI,文献DOI怎么找? 3435057
关于科研通互助平台的介绍 2559461
邀请新用户注册赠送积分活动 2481952