Self-supervised feature adaption for infrared and visible image fusion

计算机科学 稳健性(进化) 人工智能 融合 图像融合 特征(语言学) 红外线的 编码器 计算机视觉 特征提取 模式识别(心理学) 保险丝(电气) 图像(数学) 工程类 化学 语言学 哲学 生物化学 物理 光学 电气工程 操作系统 基因
作者
Fan Zhao,Wenda Zhao,Libo Yao,Yu Liu
出处
期刊:Information Fusion [Elsevier BV]
卷期号:76: 189-203 被引量:100
标识
DOI:10.1016/j.inffus.2021.06.002
摘要

Benefitting from the strong feature extraction capability of deep learning, infrared and visible image fusion has made a great progress. Since infrared and visible images are obtained by different sensors with different imaging mechanisms, there exists domain discrepancy, which becomes stumbling block for effective fusion. In this paper, we propose a novel self-supervised feature adaption framework for infrared and visible image fusion. We implement a self-supervised strategy that facilitates the backbone network to extract features with adaption while retaining the vital information by reconstructing the source images. Specifically, we preliminary adopt an encoder network to extract features with adaption. Then, two decoders with attention mechanism blocks are utilized to reconstruct the source images in a self-supervised way, forcing the adapted features to contain vital information of the source images. Further, considering the case that source images contain low-quality information, we design a novel infrared and visible image fusion and enhancement model, improving the fusion method’s robustness. Experiments are constructed to evaluate the proposed method qualitatively and quantitatively, which show that the proposed method achieves the state-of-art performance comparing with existing infrared and visible image fusion methods. Results are available at https://github.com/zhoafan/SFA-Fuse.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
shuailee发布了新的文献求助10
刚刚
刚刚
刚刚
1秒前
gong完成签到,获得积分20
3秒前
26完成签到,获得积分10
3秒前
sad_circus完成签到 ,获得积分10
4秒前
yu发布了新的文献求助10
5秒前
5秒前
我是老大的应助被dxftx采纳,获得10
5秒前
林影完成签到 ,获得积分10
5秒前
hyzccx完成签到,获得积分10
5秒前
什玖发布了新的文献求助10
6秒前
xiongwc完成签到,获得积分10
6秒前
Felix发布了新的文献求助10
6秒前
molihuakai的应助被shuailee采纳,获得10
6秒前
7秒前
osteoclast发布了新的文献求助10
8秒前
9秒前
眼睛大的念桃完成签到,获得积分10
10秒前
LuXiaoyu的应助被染8采纳,获得10
11秒前
11秒前
wanci发布了新的文献求助20
13秒前
木子完成签到 ,获得积分10
13秒前
13秒前
biubiu发布了新的文献求助10
14秒前
今后的应助被坦率涵菱采纳,获得10
14秒前
OK发布了新的文献求助10
15秒前
15秒前
16秒前
16秒前
秋风的应助被禹小宝采纳,获得10
16秒前
16秒前
完美世界的应助被荀汐采纳,获得10
16秒前
score17完成签到,获得积分10
17秒前
一方完成签到 ,获得积分10
19秒前
19秒前
领导范儿的应助被搞怪的幻梅采纳,获得10
20秒前
山竹里发布了新的文献求助10
20秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8189431
求助须知:如何正确求助?哪些是违规求助? 9576755
关于积分的说明 21849578
捐赠科研通 7787361
什么是DOI,文献DOI怎么找? 3435577
关于科研通互助平台的介绍 2559772
邀请新用户注册赠送积分活动 2482529