RealFusion: Rethinking Infrared and Visible Image Fusion From a Modality-Invariant Perspective

计算机视觉 透视图(图形) 人工智能 图像融合 计算机科学 图像处理 融合 可视化 传感器融合 红外线的 图像(数学) 图像配准 迭代重建 图像分割 目标检测 模式识别(心理学) 图像传感器 特征提取 光学成像 遥感 图像复原 高光谱成像
作者
Hengshuai Cui,Weidong Zhao,Haipeng Wang,Jun Yan,Hao Liu
出处
期刊:IEEE transactions on image processing [Institute of Electrical and Electronics Engineers]
卷期号:35: 10888-10902
标识
DOI:10.1109/tip.2026.3737049
摘要

Existing fusion methods integrate complementary information from source images to generate a mixed-modality fused image, causing visually ambiguous representations that degrade downstream task performance (e.g., segmentation and detection). Therefore, we rethink infrared and visible image fusion from a modality-invariant perspective that reconstructs two real-modality fusion images (RealFusion), where the two challenges of cross-modality feature gap and modality inconsistency are addressed. Firstly, we introduce a scene prompt generation that leverages a semantic segmentation task to extract holistic scene information from source images, thereby bridging the gap between visible and infrared features. Secondly, we design a real-modality fusion image reconstruction that constructs the modality-guided vectors between the embedding space and each modality-specific space as the projection directions, thus projecting the fused features to their respective modality spaces. Thus, the fusion network is forced to learn a consistent representation from real-modality images, which enables the fusion results to keep the modality invariant. Additionally, we introduce a differential interaction fusion module that explicitly formulates the infrared and visible features as common and differential components, and then dynamically enhances the differential information that obtains a complementary fusion representation. Extensive experiments on four datasets demonstrate that RealFusion outperforms the state-of-the-art methods on both the fusion task and the downstream segmentation task. The code will be released at: https://github.com/HengshuaiCui/RealFusion.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
CipherSage的应助被端庄书雁采纳,获得10
1秒前
稀饭发布了新的文献求助10
1秒前
丘比特的应助被牧百川采纳,获得10
1秒前
多多完成签到,获得积分10
1秒前
2秒前
上上上完成签到,获得积分10
2秒前
天天快乐的应助被daizao采纳,获得10
3秒前
3秒前
huang完成签到 ,获得积分10
4秒前
TEDDY发布了新的文献求助20
4秒前
星辰大海的应助被1001采纳,获得10
4秒前
稀饭完成签到,获得积分10
5秒前
gujun完成签到,获得积分20
6秒前
田様的应助被lsq采纳,获得10
6秒前
隐形太阳发布了新的文献求助30
7秒前
可爱的函函的应助被likemangren采纳,获得10
7秒前
范慧晨完成签到,获得积分10
7秒前
7秒前
碎觉觉发布了新的文献求助10
8秒前
今鱼完成签到 ,获得积分10
8秒前
Dani完成签到,获得积分10
8秒前
LIIII发布了新的文献求助10
8秒前
8秒前
英姑的应助被001采纳,获得10
9秒前
1001发布了新的文献求助10
9秒前
幽默的亦寒完成签到,获得积分10
9秒前
书忙完成签到 ,获得积分10
12秒前
原子发布了新的文献求助10
13秒前
HH完成签到 ,获得积分10
13秒前
13秒前
彭于晏的应助被牧百川采纳,获得10
13秒前
善良静竹完成签到 ,获得积分10
13秒前
15秒前
15秒前
鱼尾无二完成签到 ,获得积分10
15秒前
思源的应助被朴实的曼云采纳,获得20
16秒前
LI完成签到,获得积分10
16秒前
菜菜完成签到,获得积分10
17秒前
Ava的应助被ghr777采纳,获得10
17秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
Improving the wear resistance of vehicle gear oil by oil soluble LaF3 nanoparticles and typical additives of gear oil 500
Boundaries and Bodhisattvas 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8183298
求助须知:如何正确求助?哪些是违规求助? 9572606
关于积分的说明 21826444
捐赠科研通 7780272
什么是DOI,文献DOI怎么找? 3433993
关于科研通互助平台的介绍 2558136
邀请新用户注册赠送积分活动 2480259