A General Image Fusion Approach Exploiting Gradient Transfer Learning and Fusion Rule Unfolding

图像融合 计算机科学 杠杆(统计) 人工智能 图像(数学) 融合 一般化 上下文图像分类 深度学习 计算机视觉 机器学习 模式识别(心理学) 学习迁移 图像处理 图像渐变 人工神经网络 融合规则 数据挖掘 传感器融合 图像复原 图像纹理 特征检测(计算机视觉) 特征提取
作者
Wu Wang,L. Deng,Qi Cao,Gemine Vivone
出处
期刊:IEEE Transactions on Pattern Analysis and Machine Intelligence [IEEE Computer Society]
卷期号:48 (6): 6347-6364 被引量:4
标识
DOI:10.1109/tpami.2026.3655694
摘要

The goal of a deep learning-based general image fusion method is to solve multiple image fusion tasks with a single model, thereby facilitating the deployment of models in practical applications. However, existing methods fail to provide an efficient and comprehensive solution from both model training and network design perspectives. Regarding model training, current approaches cannot effectively leverage complementary information across different tasks. In terms of network design, they rely on experience-based network designs. To address these issues, we propose a comprehensive framework for general image fusion using the newly proposed gradient transfer learning and fusion rule unfolding. To leverage complementary information across different tasks during training, we propose a sequential gradient-transfer framework based on the idea that different image fusion tasks often exhibit complementary structural details and that image gradients effectively capture these details. To move beyond heuristic-based network design, we evolved a fundamental image fusion rule and integrated it into a deep equilibrium model, resulting in a more efficient and versatile image fusion network capable of uniformly handling various fusion tasks. Considering three different image fusion tasks, i.e., multi-focus image fusion, multi-exposure image fusion, and infrared and visible image fusion, our method not only produces images with richer structural information but also achieves highly competitive objective metrics. Furthermore, the results of generalization experiments on previously unseen image fusion tasks, i.e., medical image fusion, demonstrate that our method significantly outperforms competing approaches.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
syvshc的应助被freecare采纳,获得10
刚刚
小蘑菇的应助被Sun采纳,获得10
刚刚
1秒前
lyr完成签到,获得积分10
2秒前
希望天下0贩的0的应助被Qin采纳,获得10
2秒前
温暖伟祺完成签到,获得积分10
2秒前
东风的应助被liriyii采纳,获得10
3秒前
3秒前
4秒前
6秒前
执着的导师的应助被cw采纳,获得10
6秒前
mashiyi完成签到,获得积分10
6秒前
7秒前
Fay完成签到,获得积分10
7秒前
7秒前
周一发布了新的文献求助10
7秒前
sunday完成签到,获得积分10
7秒前
NexusExplorer的应助被王一硕采纳,获得10
8秒前
今后的应助被王一硕采纳,获得10
8秒前
李健的应助被枫丶采纳,获得10
8秒前
8秒前
呀呀呀完成签到 ,获得积分10
9秒前
渟柠发布了新的文献求助10
9秒前
慕青的应助被xxxxxxxxxx采纳,获得10
9秒前
10秒前
10秒前
董梓轩发布了新的文献求助10
10秒前
华仔的应助被JIU采纳,获得10
10秒前
haibo发布了新的文献求助10
11秒前
11秒前
11秒前
天天发布了新的文献求助30
11秒前
慕青的应助被耶耶业采纳,获得10
11秒前
11秒前
天天快乐的应助被个性向卉采纳,获得10
11秒前
深情安青的应助被NTUxs采纳,获得10
12秒前
望浅完成签到,获得积分10
12秒前
13秒前
loong发布了新的文献求助10
13秒前
u692836发布了新的文献求助10
13秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8193425
求助须知:如何正确求助?哪些是违规求助? 9579620
关于积分的说明 21866505
捐赠科研通 7793025
什么是DOI,文献DOI怎么找? 3437297
关于科研通互助平台的介绍 2560718
邀请新用户注册赠送积分活动 2484128