WaveFusion: A Novel Wavelet Vision Transformer With Saliency-Guided Enhancement for Multimodal Image Fusion

人工智能 计算机视觉 计算机科学 图像融合 小波 融合 图像增强 模式识别(心理学) 图像(数学) 语言学 哲学
作者
Qinghua Wang,Ziwei Li,Shuqi Zhang,Nan Chi,Qionghai Dai
出处
期刊:IEEE Transactions on Circuits and Systems for Video Technology [Institute of Electrical and Electronics Engineers]
卷期号:35 (8): 7526-7542 被引量:10
标识
DOI:10.1109/tcsvt.2025.3549459
摘要

Multi-modal image fusion aims to amalgamate pivotal information from various sensor sources to provide informative visual representation in imaging scenes. Rapid and precise fusion of images is crucial for practical applications in fields such as autonomous driving and medical diagnostics. However, the primary challenge lies in balancing computational costs with the effectiveness of feature extraction, while ensuring the robust integration of salient features across modalities. Here, this paper introduces WaveFusion, a wavelet vision transformer equipped with an advanced saliency-guided loss strategy to optimize multi-modal image fusion. Initially, to provide a comprehensive and efficient representation of multi-modal data, we introduce an adaptive wavelet transform module for feature decomposition and reconstruction. Following this, self-attention mechanisms and convolutional networks are naturally applied in parallel to process low-frequency and high-frequency components, resulting in the development of a wavelet-enhanced vision transformer. Secondly, WaveFusion utilizes a dual-aggregation attention approach that improves cross-modal feature complementarity and intra-modal feature coherence within a single fusion module. Furthermore, we propose a dynamic saliency-informed selective loss function to refine the optimization process, with the objective of enhancing critical feature retention and maintaining overall image consistency across fusion scenarios. The efficacy and versatility of our method are validated in both infrared-visible fusion and medical image fusion tasks. Experiment results demonstrate that WaveFusion provides a superior balanced approach that optimizes both fusion performance and cost-efficiency, and additionally improves performance in downstream tasks such as multi-modal semantic segmentation and object detection.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
Irene发布了新的文献求助10
1秒前
2秒前
djf103完成签到 ,获得积分10
2秒前
隐形曼青的应助被蓝染采纳,获得10
2秒前
英俊的铭的应助被lay采纳,获得10
3秒前
3秒前
阔达书雪完成签到,获得积分10
3秒前
大力美少女完成签到,获得积分10
3秒前
keyantong完成签到,获得积分10
4秒前
ayzxdz完成签到,获得积分10
5秒前
yc发布了新的文献求助10
8秒前
8秒前
9秒前
9秒前
领导范儿的应助被胡萝卜卜采纳,获得10
9秒前
12秒前
13秒前
SciGPT的应助被正直的夏蓉采纳,获得10
13秒前
OK歌之王发布了新的文献求助30
13秒前
重要冰蝶发布了新的文献求助30
14秒前
jin发布了新的文献求助10
14秒前
喜悦疾发布了新的文献求助10
14秒前
英俊的铭的应助被楚慈采纳,获得10
15秒前
挽挽关注了科研通微信公众号
15秒前
南北发布了新的文献求助10
16秒前
17秒前
吴军霄完成签到,获得积分10
17秒前
小高完成签到,获得积分10
17秒前
凡夫俗女的应助被胡萝卜卜采纳,获得10
17秒前
tt发布了新的文献求助10
18秒前
谦昀发布了新的文献求助10
19秒前
Fipped完成签到 ,获得积分10
20秒前
gggyyy发布了新的文献求助10
20秒前
20秒前
21秒前
22秒前
24秒前
24秒前
26秒前
小蘑菇的应助被gggyyy采纳,获得10
27秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8193156
求助须知:如何正确求助?哪些是违规求助? 9579416
关于积分的说明 21865319
捐赠科研通 7792722
什么是DOI,文献DOI怎么找? 3437168
关于科研通互助平台的介绍 2560670
邀请新用户注册赠送积分活动 2483977