Aligning semantic distribution in fusing optical and SAR images for land use classification

保险丝(电气) 人工智能 计算机科学 模式识别(心理学) 特征(语言学) 模态(人机交互) 像素 合成孔径雷达 交叉口(航空) 光学(聚焦) 语义学(计算机科学) 计算机视觉 地理 地图学 工程类 哲学 物理 语言学 光学 程序设计语言 电气工程
作者
Wangbin Li,Kaimin Sun,Wenzhuo Li,Jinjiang Wei,Shunxia Miao,Song Gao,Qinhui Zhou
出处
期刊:Isprs Journal of Photogrammetry and Remote Sensing [Elsevier BV]
卷期号:199: 272-288 被引量:74
标识
DOI:10.1016/j.isprsjprs.2023.04.008
摘要

Optical and synthetic aperture radar (SAR) images, two standard Earth observation tools, can reflect the characteristics of the surface from different perspectives and provide complementary information for land use classification. However, because they belong to different modes and express land objects differently, it is challenging to effectively fuse and use them to perform a pixel-wise classification. Current methods only focus on the local receptive field to fuse deep features in a single dimension, which is too simple to fully exploit the correlation between different modes. Moreover, the appearance disparities between each modality may induce semantic misalignment and disrupt the conditions of features’ fusion. To overcome the above problems, we introduce a spatial-aware circular module to generate a cross-modality receptive field and globally enhance the interaction between each pixel in the spatial dimension. Additionally, we recalibrate the features in the channel dimension to selectively refine and retain the essential things during the process, which can further achieve feature refinement. To reduce the impact of modal appearance disparities, we transform their high-level features into a common latent space and align their distributions to correlate the complementary cues hidden in each modality. The experimental results for the WHU-OPT-SAR dataset show that our method performed better than other state-of-the-art methods, with a mean intersection over union (mIoU) of 58.5% and an overall accuracy (OA) of 84.2%. Furthermore, the method obtained competitive results in Ezhou and Panjin, China. The results demonstrate our method’s applicability.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
四木发布了新的文献求助10
刚刚
1秒前
lnww发布了新的文献求助10
1秒前
万能图书馆的应助被pa采纳,获得10
1秒前
图图发布了新的文献求助30
1秒前
1秒前
吕冰安发布了新的文献求助10
1秒前
软猫完成签到,获得积分10
2秒前
Something发布了新的文献求助10
2秒前
王培德完成签到 ,获得积分10
2秒前
乐乐的应助被调皮老头采纳,获得10
2秒前
潇洒红牛发布了新的文献求助10
2秒前
蜡笔发布了新的文献求助10
3秒前
在水一方的应助被kk采纳,获得10
3秒前
李健的小迷弟的应助被Wenlia采纳,获得10
3秒前
无敌完成签到,获得积分10
3秒前
机灵水池发布了新的文献求助10
4秒前
liang发布了新的文献求助10
4秒前
Chen完成签到,获得积分10
4秒前
4秒前
领导范儿的应助被刻苦的雨莲采纳,获得30
4秒前
4秒前
4秒前
5秒前
5秒前
李琳发布了新的文献求助10
6秒前
6秒前
7秒前
7秒前
7秒前
7秒前
深情安青的应助被raggasoul采纳,获得10
7秒前
领导范儿的应助被畅快的半梅采纳,获得10
7秒前
腼腆的寻琴完成签到,获得积分10
7秒前
自然的剑封完成签到,获得积分10
8秒前
JamesPei的应助被krsL采纳,获得10
8秒前
菲子笑完成签到,获得积分10
8秒前
酷波er的应助被高高的若云采纳,获得10
8秒前
橘子树发布了新的文献求助10
8秒前
斯文败类的应助被Zhou采纳,获得10
8秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8162755
求助须知:如何正确求助?哪些是违规求助? 9557016
关于积分的说明 21737907
捐赠科研通 7753093
什么是DOI,文献DOI怎么找? 3427901
关于科研通互助平台的介绍 2552719
邀请新用户注册赠送积分活动 2472528