Detection Drives an End-to-End Fusion of Infrared and Visible Images Based on Diffusion Models

融合 红外线的 图像融合 扩散 计算机视觉 人工智能 光学 材料科学 图像处理 传感器融合 计算机科学 可见光谱 目标检测 模式识别(心理学) 特征提取 光学滤波器
作者
Kexin Huang,Zhiyuan Zhang,Chaohua Shi,Lan Luo,Junpeng Shi,Yongxiang Liu
出处
期刊:IEEE transactions on image processing [Institute of Electrical and Electronics Engineers]
卷期号:35: 2625-2639
标识
DOI:10.1109/tip.2026.3671618
摘要

Infrared and visible image fusion methods have shown promising results, yet existing approaches either compromise downstream detection performance through independent fusion processes or sacrifice computational efficiency and flexibility by requiring joint training of fusion and detection models. To address these challenges, we propose a detection-driven image fusion network based on diffusion models (termed as DDIF), which optimizes the fused images specifically for object detection tasks. Our method features the following three aspects: 1) we reformulate the image fusion process as an inverse problem solved by a non-differentiable optimization process wherein the fused result preserves the source modality information while conforming to the image prior provided by the diffusion model; 2) we design a Response Guide Learning Module (RGLM) to learn response maps, which determine the contribution of each modality in the fusion process according to the downstream detection task; 3) we establish explicit gradient relationships to ensure compatibility between RGLM training and the non-differentiable optimization process, enabling end-to-end training. Notably, a moderate coupling mechanism is formed in our framework as the subsequent detection model is pre-trained and frozen, enabling flexible integration with various advanced detection networks while maintaining computational efficiency. Extensive experiments indicate that our method achieves superior detection performance compared to SOTA approaches and produces high-quality image fusion results.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
磊大彪完成签到 ,获得积分10
刚刚
奇奇发布了新的文献求助10
刚刚
QULr完成签到,获得积分10
刚刚
1秒前
1秒前
fantasy的应助被失望的山谷采纳,获得10
1秒前
白雪发布了新的文献求助10
1秒前
传奇3的应助被慕念采纳,获得10
1秒前
2秒前
2秒前
端庄刚完成签到,获得积分10
2秒前
ice关闭了ice的文献求助
3秒前
乔呀完成签到,获得积分10
3秒前
3秒前
传奇3的应助被山上雪采纳,获得10
3秒前
wanci的应助被Peissen采纳,获得30
3秒前
3秒前
顾矜的应助被文静的翠安采纳,获得10
4秒前
4秒前
Shuaiyang完成签到 ,获得积分10
4秒前
你好发布了新的文献求助10
4秒前
lallalal完成签到,获得积分10
5秒前
犹豫的白梦完成签到,获得积分10
5秒前
大个的应助被栾花花采纳,获得10
5秒前
Agent挖俩发布了新的文献求助10
5秒前
最好的支支在我身边完成签到 ,获得积分10
5秒前
6秒前
半岛铁盒完成签到,获得积分10
6秒前
33完成签到,获得积分20
6秒前
6秒前
婷妞儿发布了新的文献求助10
6秒前
Ffan完成签到 ,获得积分10
6秒前
masirui的应助被HankChou采纳,获得10
6秒前
霹雳香菜发布了新的文献求助30
7秒前
洋子完成签到 ,获得积分10
7秒前
lallalal发布了新的文献求助10
7秒前
7秒前
9秒前
充电宝的应助被爱学习的小羊采纳,获得10
9秒前
jiaxinL完成签到,获得积分10
9秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8161319
求助须知:如何正确求助?哪些是违规求助? 9556017
关于积分的说明 21731933
捐赠科研通 7751355
什么是DOI,文献DOI怎么找? 3427537
关于科研通互助平台的介绍 2552583
邀请新用户注册赠送积分活动 2471987