亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Multi-Resolution Infrared-Visible Image Fusion using Multi-Scale Residual Quantization

人工智能 计算机科学 残余物 计算机视觉 图像融合 模式识别(心理学) 量化(信号处理) 融合 相互信息 安全性令牌 图像处理 图像配准 图像(数学) 变压器 传感器融合 推论 翻译(生物学) 自回归模型 像素 图像传感器
作者
Honglin Wu,Junjie Huang,Huibin Tan,Wanrong Huang,Yuhua Tang,Xueqiong Li
出处
期刊: [Institute of Electrical and Electronics Engineers]
卷期号:: 1-6 被引量:1
标识
DOI:10.1109/icme59968.2025.11208898
摘要

Infrared-visible image fusion (IVF) is an essential task in multimodal image processing that integrates infrared and visible modalities to enhance the overall image information content. However, existing methods often suffer from limited precision and efficiency. Furthermore, they fail to address practical requirements such as multi-resolution fusion and mutual translation. In this paper, we propose the Multi-Scale Residual Quantized Infrared-Visible Image Fusion (M-RQIVF) framework to efficiently generate high-quality fusion images. M-RQIVF trains multi-scale residual quantized infrared and visible autoencoders that convert images into multi-scale discrete token maps. This approach approximates the residuals from the features on a scale-by-scale basis, allowing for coarse-to-fine fused image generation that aligns well with human visual perception. Furthermore, by leveraging these discrete token maps, we train Visual Auto-Regressive (VAR) transformers using next-scale prediction. The VAR transformer ensures that features of corresponding sizes can be generated, even when the input infrared and visible images have different resolutions, facilitating fine-grained fusion. Additionally, the autoregressive structure enables image translation to be treated as a conditional generation task, thereby enabling mutual translation between infrared and visible images. Extensive experiments demonstrate that M-RQIVF outperforms the SOTAs while maintaining a much faster inference speed.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
悦耳的香萱完成签到,获得积分10
3秒前
怡然的扬完成签到,获得积分10
6秒前
zhouhaoyi完成签到,获得积分10
8秒前
雉鹿完成签到 ,获得积分10
10秒前
12秒前
Louisa发布了新的文献求助10
14秒前
yfm发布了新的文献求助10
16秒前
波波要发sci完成签到 ,获得积分10
25秒前
慕青的应助被yfm采纳,获得10
29秒前
LewisAlien完成签到,获得积分10
31秒前
31秒前
魔幻雪兰完成签到,获得积分10
36秒前
leafy189发布了新的文献求助10
38秒前
善良的含芙完成签到,获得积分10
38秒前
Louisa完成签到,获得积分10
39秒前
开心乌冬面完成签到 ,获得积分10
42秒前
大模型的应助被从清晨到日暮采纳,获得10
43秒前
hhhhh完成签到,获得积分20
46秒前
Akim的应助被纯情的阁采纳,获得10
47秒前
科研通AI6.4的应助被纯情的阁采纳,获得10
47秒前
大模型的应助被KKIII采纳,获得10
48秒前
科研通AI6.4的应助被纯情的阁采纳,获得10
55秒前
科研通AI6.3的应助被纯情的阁采纳,获得30
55秒前
乐乐的应助被纯情的阁采纳,获得10
55秒前
科研通AI6.3的应助被纯情的阁采纳,获得10
55秒前
科研通AI6.3的应助被纯情的阁采纳,获得30
56秒前
碧蓝皮卡丘完成签到,获得积分10
58秒前
1分钟前
斯文败类的应助被纯情的阁采纳,获得10
1分钟前
科研通AI6.3的应助被纯情的阁采纳,获得10
1分钟前
真的不会完成签到,获得积分10
1分钟前
笙笙的应助被纯情的阁采纳,获得10
1分钟前
科研通AI6.3的应助被纯情的阁采纳,获得10
1分钟前
1分钟前
KKIII发布了新的文献求助10
1分钟前
雉鸥完成签到 ,获得积分10
1分钟前
Ming完成签到 ,获得积分10
1分钟前
Richard完成签到,获得积分10
1分钟前
1分钟前
香蕉觅云的应助被纯情的阁采纳,获得30
1分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8172954
求助须知:如何正确求助?哪些是违规求助? 9565447
关于积分的说明 21780029
捐赠科研通 7764817
什么是DOI,文献DOI怎么找? 3431496
关于科研通互助平台的介绍 2555519
邀请新用户注册赠送积分活动 2476571