Dual-Dynamic Cross-Modal Interaction Network for Multimodal Remote Sensing Object Detection

计算机科学 情态动词 对偶(语法数字) 遥感 目标检测 对象(语法) 计算机视觉 人工智能 模式识别(心理学) 地质学 艺术 化学 文学类 高分子化学
作者
Wei Bao,Meiyu Huang,Jingjing Hu,Xueshuang Xiang
出处
期刊:IEEE Transactions on Geoscience and Remote Sensing [Institute of Electrical and Electronics Engineers]
卷期号:63: 1-13 被引量:18
标识
DOI:10.1109/tgrs.2025.3530085
摘要

Multimodal remote sensing object detection (MM-RSOD) holds great promise for around-the-clock applications. However, it faces challenges in effectively extracting complementary features due to the modality inconsistency and redundancy. Inconsistency can lead to semantic-spatial misalignment, while redundancy introduces uncertainty that is specific to each modality. To overcome these challenges and enhance complementarity exploration and exploitation, this article proposes a dual-dynamic cross-modal interaction network (DDCINet), a novel framework comprising two key modules: a dual-dynamic cross-modal interaction (DDCI) module and a dynamic feature fusion (DFF) module. The DDCI module simultaneously addresses both modality inconsistency and redundancy by employing a collaborative design of channel-gated spatial cross-attention (CSCA) and cross-modal dynamic filters (CMDFs) on evenly segmented multimodal features. The CSCA component enhances the semantic-spatial correlation between modalities by identifying the most relevant channel-spatial features through cross-attention, addressing modality inconsistency. In parallel, the CMDF component achieves cross-modal context interaction through static convolution and further generates dynamic spatial-variant kernels to filter out irrelevant information between modalities, addressing modality redundancy. Following the improved feature extraction, the DFF module dynamically adjusts interchannel dependencies guided by modal-specific global context to fuse features, achieving better complementarity exploitation. Extensive experiments conducted on three MM-RSOD datasets confirm the superiority and generalizability of the DDCINet framework. Notably, our DDCINet, based on the RoI Transformer benchmark and ResNet50 backbone, achieves 78.4% mAP50 on the DroneVehicle test set and outperforms state-of-the-art (SOTA) methods by large margins.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
活佛济公完成签到 ,获得积分10
刚刚
程11完成签到,获得积分10
刚刚
负责谷秋完成签到 ,获得积分10
3秒前
ncuwzq完成签到,获得积分0
3秒前
Lliu完成签到,获得积分10
7秒前
么么完成签到,获得积分10
12秒前
饿哭了塞完成签到 ,获得积分10
12秒前
我不会乱起名字的完成签到,获得积分10
12秒前
吴旭东完成签到,获得积分10
15秒前
15秒前
gycao2025完成签到,获得积分10
16秒前
刘艺涵完成签到 ,获得积分10
16秒前
Einy完成签到 ,获得积分10
16秒前
MoChin完成签到,获得积分10
16秒前
acat完成签到 ,获得积分10
17秒前
温暖完成签到 ,获得积分10
18秒前
zc完成签到,获得积分10
19秒前
Tin完成签到,获得积分10
20秒前
hh完成签到 ,获得积分10
20秒前
刻苦绿蕊完成签到,获得积分10
22秒前
李伟完成签到,获得积分10
22秒前
Sure完成签到 ,获得积分10
22秒前
曾珍完成签到 ,获得积分10
25秒前
青云万里完成签到,获得积分10
25秒前
142857完成签到,获得积分10
27秒前
Una2030完成签到 ,获得积分10
31秒前
轻松香菇完成签到 ,获得积分10
32秒前
Jeffrey完成签到,获得积分10
33秒前
房杨完成签到,获得积分10
33秒前
七七完成签到 ,获得积分10
34秒前
怡然铭完成签到 ,获得积分10
35秒前
黄芪完成签到,获得积分10
39秒前
高山流水完成签到,获得积分10
40秒前
lingling00完成签到 ,获得积分10
41秒前
山野的雾完成签到 ,获得积分10
42秒前
沉静梦蕊完成签到,获得积分10
46秒前
枯叶灬风发布了新的文献求助10
48秒前
微笑完成签到,获得积分10
48秒前
myyyyy完成签到,获得积分10
49秒前
不摸鱼上啥班完成签到,获得积分10
49秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
Social Psychology in the Real World 600
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8180097
求助须知:如何正确求助?哪些是违规求助? 9570230
关于积分的说明 21808841
捐赠科研通 7776113
什么是DOI,文献DOI怎么找? 3433261
关于科研通互助平台的介绍 2557463
邀请新用户注册赠送积分活动 2479013