Cross-Modal Feature Calibration and Fusion Network for Remote Sensing Optical–SAR Joint Object Detection Under Cloud Occlusion

作者
Zijuan Ding,Yin Yang,Yaqin Zhang,Xiaoyi Luo,Meiyu Huang,Xueshuang Xiang
出处
期刊:IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing [Institute of Electrical and Electronics Engineers]
卷期号:18: 27302-27319 被引量:11
标识
DOI:10.1109/jstars.2025.3623394
摘要

Optical–SAR fusion object detection has drawn great attention for its ability to combine the rich visual features of optical images with the all-weather, all-day imaging capability of SAR, enabling robust detection performance under adverse weather conditions. However, cloud occlusion causes severe degradation in optical images, while the weak texture of SAR images leads to missed detections, which poses significant challenges to accurate object detection. To address this issue, we propose a novel cross-modal feature calibration and fusion network (CFCFNet) for robust object detection under cloud occlusion. Specifically, we propose an R2U-Net-based cloud removal module to enable end-to-end cloud removal at a low computational cost. To enhance feature representations and mitigate cross-modal discrepancies, a cross-modal feature calibration module is introduced for channel-wise and spatial feature alignment. Finally, to fully exploit the complementary information across modalities, we design a convolutional attention-based dynamic fusion module that adaptively integrates global context and local details to enhance the discriminative capability of fused features. Besides, we construct the OPTSAR-Cloud dataset, comprising five sets of 3300 optical–SAR image pairs under varying cloud thickness, enabling evaluation under complex atmospheric environments. Extensive experiments on the OPTSAR-Cloud dataset demonstrate that CFCFNet achieves state-of-the-art performance, with an absolute gain of 2.7% in mAP50 over previous best approaches. Ablation studies under thick cloud conditions further show that CFCFNet improves detection accuracy by 5.6%, increasing mAP50 from 60.8% to 66.4%.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
金澜完成签到 ,获得积分10
2秒前
俭朴觅松完成签到 ,获得积分10
8秒前
zyfxxh完成签到,获得积分10
8秒前
chen完成签到 ,获得积分10
10秒前
CodeCraft的应助被CLW采纳,获得10
10秒前
稳重的从寒完成签到,获得积分10
16秒前
17秒前
负责的含玉完成签到,获得积分10
19秒前
19秒前
Zhao完成签到 ,获得积分10
20秒前
XANXUS完成签到,获得积分10
22秒前
CLW发布了新的文献求助10
23秒前
dorbir发布了新的文献求助10
23秒前
花花子完成签到 ,获得积分10
28秒前
俊秀的问旋完成签到 ,获得积分10
29秒前
yx完成签到 ,获得积分10
32秒前
Elsevier大王的应助被负责的含玉采纳,获得200
33秒前
机灵的沂完成签到,获得积分10
33秒前
liuteng完成签到 ,获得积分10
39秒前
灵巧的谷南完成签到 ,获得积分10
39秒前
liu95完成签到 ,获得积分0
39秒前
zhang完成签到 ,获得积分10
45秒前
赘婿的应助被dorbir采纳,获得10
45秒前
睡前来杯黑咖啡完成签到,获得积分10
46秒前
江涸完成签到,获得积分10
46秒前
魔幻的松思完成签到,获得积分10
47秒前
roundtree完成签到 ,获得积分0
49秒前
思源的应助被科研通管家采纳,获得10
50秒前
英姑的应助被科研通管家采纳,获得10
50秒前
美菇完成签到 ,获得积分10
50秒前
慕青的应助被科研通管家采纳,获得10
50秒前
英姑的应助被科研通管家采纳,获得10
50秒前
上官若男的应助被科研通管家采纳,获得10
50秒前
小元元完成签到 ,获得积分10
55秒前
科研通AI6.2的应助被甄雨琦采纳,获得10
1分钟前
在水一方的应助被摆渡人采纳,获得10
1分钟前
xixi2517完成签到,获得积分10
1分钟前
yolo完成签到 ,获得积分10
1分钟前
qiancib202完成签到,获得积分0
1分钟前
慧子完成签到 ,获得积分10
1分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
Energie-Contracting 1500
Klimaschutzrecht durch den Energiesektor im Mehrebenensystem – Ein Rechtsvergleich 1000
Oncology Clinical Trials: Successful Design, Conduct, and Analysis, Second Edition 800
Sustainable Engineered Micro/Nanofibers and Hybrid Nanocomposites for Environmental Remediation 400
Ecotourism 400
Liquidus diagram and viscosity estimation in pseudo-binary system Li2B6O10–LiF 300
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8076062
求助须知:如何正确求助?哪些是违规求助? 9494142
关于积分的说明 21378281
捐赠科研通 7643973
什么是DOI,文献DOI怎么找? 3399993
关于科研通互助平台的介绍 2529768
邀请新用户注册赠送积分活动 2438664