清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Fusion-Mamba for Cross-Modality Object Detection

计算机科学 模态(人机交互) 对象(语法) 人工智能
作者
Wenhao Dong,Haodong Zhu,Shaohui Lin,Xiaoyan Luo,Yunhang Shen,Guodong Guo,Baochang Zhang
出处
期刊:IEEE Transactions on Multimedia [Institute of Electrical and Electronics Engineers]
卷期号:27: 7392-7406 被引量:50
标识
DOI:10.1109/tmm.2025.3599020
摘要

Cross-modality object detection aims to fuse complementary information from different modalities to improve model performance, which achieves a wider range of applications. However, traditional cross-modality fusion methods, based on CNN or Transformer, inadequately address the issue of pseudo-target information, which causes model attention dispersion to degrade object detection performance. In this paper, we investigate a novel cross-modality fusion approach by associating cross-modal features in a hidden state space based on an improved Mamba with a gating attention mechanism. We propose the Fusion-Mamba Block(FMB), designed to map cross-modal features into a hidden state space for interaction, thereby refining the model’s attention on true target areas and enhancing overall performance. The FMB comprises two key modules: State Space Channel Swapping (SSCS) module, which facilitates the fusion of shallow features, and Dual State Space Fusion (DSSF) module, which enables deep fusion and effectively suppresses pseudo-target information within the hidden state space. Our proposed method outperforms state-of-the-art approaches, achieving improvements of 5.9%, 3.5% and 2.1% mAP on $M^{3}$FD, DroneVehicle and FLIR-Aligned, respectively. To the best of our knowledge, this work establishes a new baseline for cross-modality object detection, providing a robust foundation for future research in this area.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
隐形的灵薇完成签到,获得积分10
13秒前
mickaqi完成签到 ,获得积分10
18秒前
柔弱的妙旋完成签到,获得积分10
27秒前
limengyao完成签到,获得积分10
51秒前
lzm完成签到 ,获得积分10
53秒前
水water完成签到 ,获得积分10
1分钟前
虎子完成签到 ,获得积分10
1分钟前
激情的汲完成签到,获得积分10
1分钟前
小珂完成签到 ,获得积分10
1分钟前
1分钟前
1分钟前
1分钟前
Gone完成签到,获得积分10
1分钟前
SciGPT的应助被兰兰不懒采纳,获得10
1分钟前
1分钟前
yc关闭了yc的文献求助
2分钟前
VuuVuu完成签到,获得积分10
2分钟前
顺利的雅旋完成签到,获得积分10
2分钟前
2分钟前
兰兰不懒发布了新的文献求助10
2分钟前
淡淡依霜完成签到 ,获得积分10
2分钟前
廖道罡完成签到,获得积分10
2分钟前
温婉的乐荷完成签到,获得积分10
2分钟前
VuuVuu发布了新的文献求助10
2分钟前
852的应助被LY采纳,获得10
3分钟前
简单完成签到 ,获得积分10
3分钟前
3分钟前
3分钟前
3分钟前
3分钟前
isssstwice发布了新的文献求助30
3分钟前
isssstwice完成签到,获得积分10
4分钟前
doudou完成签到,获得积分10
4分钟前
落后的山槐完成签到,获得积分10
4分钟前
5分钟前
LY发布了新的文献求助10
5分钟前
活力尔柳完成签到 ,获得积分10
5分钟前
lilylwy完成签到 ,获得积分0
5分钟前
朝朝的应助被萧雨墨采纳,获得10
5分钟前
单纯的天抒完成签到,获得积分10
5分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8190226
求助须知:如何正确求助?哪些是违规求助? 9577355
关于积分的说明 21852358
捐赠科研通 7788741
什么是DOI,文献DOI怎么找? 3436310
关于科研通互助平台的介绍 2560106
邀请新用户注册赠送积分活动 2482902