CEFusion: An Infrared and Visible Image Fusion Network Based on Cross-Modal Multi-Granularity Information Interaction and Edge Guidance

粒度 情态动词 红外线的 计算机科学 GSM演进的增强数据速率 人工智能 计算机视觉 融合 信息融合 图像融合 图像(数学) 光学 材料科学 物理 哲学 操作系统 高分子化学 语言学
作者
Bin Yang,Yuxuan Hu,Xiaowen Liu,Jing Li
出处
期刊:IEEE Transactions on Intelligent Transportation Systems [Institute of Electrical and Electronics Engineers]
卷期号:25 (11): 17794-17809 被引量:42
标识
DOI:10.1109/tits.2024.3426539
摘要

Infrared and visible image fusion (IVF) aims to generate a fused image with abundant texture details and salient thermal radiation targets, which can not only preserve the necessary scene information for traffic vision tasks, but also highlight the imperceptible targets that are crucial in intelligent transportation system (ITS). However, the existing image fusion methods often lack the information interactions between cross-modal features and among cross-granularity features, and they usually ignore the importance of edge information to the image, which affects the quality of the fused image. To this end, this study proposes an IVF network based on cross-modal multi-granularity information interaction and edge guidance, termed as CEFusion. On the one hand, a triple-branch scene fidelity module is designed to fuse the different modal features extracted by the encoder. This module can adequately mine difference information and infrared salient information of the cross-modal features through cross-modal information interaction. On the other hand, a progressive cross-granularity interaction feature enhancement module is employed to achieve the information interaction among cross-granularity features, which can further enrich the texture and structure information in the fused features. In addition, a novel edge loss function is proposed to guide the network to retain the edge information from source images. Extensive comparative and generalization experiments demonstrate that our CEFusion superior to the state-of-the-art methods in preserving texture details and thermal radiation targets. More importantly, the performance of our method in the high-level vision task suggests that it can provide reliable assistance for the ITS applications.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
CodeCraft的应助被清风朗月采纳,获得10
1秒前
1秒前
yixi完成签到,获得积分20
1秒前
xiaxng发布了新的文献求助10
1秒前
1秒前
olivia完成签到,获得积分10
2秒前
TTOM完成签到,获得积分10
2秒前
Rrr发布了新的文献求助10
2秒前
3秒前
Usting完成签到,获得积分10
3秒前
3秒前
4秒前
爆米花的应助被momo采纳,获得10
4秒前
enuiu完成签到,获得积分10
4秒前
4秒前
5秒前
极限001的应助被kaiyang采纳,获得200
5秒前
h11的应助被欧皇采纳,获得10
5秒前
绵马紫萁发布了新的文献求助10
5秒前
01完成签到 ,获得积分10
5秒前
姚青筠发布了新的文献求助10
5秒前
5秒前
布丁完成签到,获得积分10
6秒前
6秒前
6秒前
阿桐木完成签到 ,获得积分10
7秒前
wz1666完成签到,获得积分10
7秒前
WY发布了新的文献求助10
7秒前
云汐完成签到,获得积分10
7秒前
完美世界的应助被飞飞飞采纳,获得10
8秒前
木木完成签到 ,获得积分10
9秒前
9秒前
kongxz发布了新的文献求助10
9秒前
戴帽子的花盆完成签到,获得积分10
9秒前
9秒前
fortuna发布了新的文献求助10
9秒前
所所的应助被不辣的皮特采纳,获得10
9秒前
天天开心发布了新的文献求助10
10秒前
Victor发布了新的文献求助10
10秒前
10秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8161749
求助须知:如何正确求助?哪些是违规求助? 9556240
关于积分的说明 21733360
捐赠科研通 7751657
什么是DOI,文献DOI怎么找? 3427566
关于科研通互助平台的介绍 2552632
邀请新用户注册赠送积分活动 2472047