MGFusion: a multimodal large language model-guided information perception for infrared and visible image fusion

计算机科学 图像融合 人工智能 保险丝(电气) 光学(聚焦) 特征(语言学) 融合 图像(数学) 语义学(计算机科学) 代表(政治) 计算机视觉 模式识别(心理学) 哲学 工程类 物理 光学 电气工程 政治 程序设计语言 法学 语言学 政治学
作者
Zhijia Yang,Yunping Li,Xin Tang,Minghong Xie
出处
期刊:Frontiers in Neurorobotics [Frontiers Media]
卷期号:18: 1521603-1521603 被引量:12
标识
DOI:10.3389/fnbot.2024.1521603
摘要

Existing image fusion methods primarily focus on complex network structure designs while neglecting the limitations of simple fusion strategies in complex scenarios. To address this issue, this study proposes a new method for infrared and visible image fusion based on a multimodal large language model. The method proposed in this paper fully considers the high demand for semantic information in enhancing image quality as well as the fusion strategies in complex scenes. We supplement the features in the fusion network with information from the multimodal large language model and construct a new fusion strategy. To achieve this goal, we design CLIP-driven Information Injection (CII) approach and CLIP-guided Feature Fusion (CFF) strategy. CII utilizes CLIP to extract robust image features rich in semantic information, which serve to supplement the information of infrared and visible features, thereby enhancing their representation capabilities for the scene. CFF further utilizes the robust image features extracted by CLIP to select and fuse the infrared and visible features after the injection of semantic information, addressing the challenges of image fusion in complex scenes. Compared to existing methods, the main advantage of the proposed method lies in leveraging the powerful semantic understanding capabilities of the multimodal large language model to supplement information for infrared and visible features, thus avoiding the need for complex network structure designs. Experimental results on multiple public datasets validate the effectiveness and superiority of the proposed method.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
思源的应助被活泼冬云采纳,获得10
1秒前
2秒前
2秒前
豆豆豆发布了新的文献求助30
3秒前
zzz完成签到,获得积分10
3秒前
Chany完成签到 ,获得积分10
3秒前
3秒前
3秒前
嘿嘿发布了新的文献求助10
3秒前
afatinib完成签到,获得积分10
3秒前
Lucas的应助被Snoval采纳,获得10
4秒前
4秒前
babababu发布了新的文献求助10
4秒前
LYY完成签到,获得积分10
5秒前
Prospect发布了新的文献求助10
6秒前
6秒前
秋水仙碱发布了新的文献求助10
6秒前
7秒前
甲谁完成签到 ,获得积分10
8秒前
123发布了新的文献求助10
8秒前
机智翠绿完成签到,获得积分10
9秒前
乐事小黄瓜完成签到,获得积分10
9秒前
柒的花店完成签到,获得积分10
9秒前
星辰大海的应助被Parker采纳,获得10
9秒前
赵Zhao完成签到,获得积分10
10秒前
小星星完成签到 ,获得积分10
10秒前
羽林发布了新的文献求助10
11秒前
11秒前
hh1234完成签到,获得积分10
11秒前
烟花的应助被F_u采纳,获得10
11秒前
12306发布了新的文献求助10
11秒前
郑谦奕啊发布了新的文献求助10
13秒前
13秒前
14秒前
cong完成签到 ,获得积分10
14秒前
Eternal芾夏发布了新的文献求助10
14秒前
瘦瘦世德完成签到 ,获得积分10
15秒前
自由紫伊完成签到 ,获得积分10
15秒前
16秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Agyptische Geschichte der 21.30. Dynastie 510
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8191835
求助须知:如何正确求助?哪些是违规求助? 9578544
关于积分的说明 21860281
捐赠科研通 7791256
什么是DOI,文献DOI怎么找? 3436733
关于科研通互助平台的介绍 2560459
邀请新用户注册赠送积分活动 2483510