Vision Foundation Model-Driven Multiscale Expert Tuning for Multimodal Remote Sensing Semantic Segmentation

计算机科学 分割 人工智能 水准点(测量) 特征(语言学) 特征提取 桥接(联网) 利用 图像分割 遥感应用 融合机制 机器学习 基础(证据) 一般化 遥感 语义映射 计算机视觉 语义学(计算机科学) 代表(政治) 传感器融合 多模态 特征学习 模式识别(心理学) 数据挖掘 编码(内存)
作者
Jiayuan Li,Zhen Wang,Nan Xu,Zhu‐Hong You,De-Shuang Huang
出处
期刊:IEEE Transactions on Geoscience and Remote Sensing [Institute of Electrical and Electronics Engineers]
卷期号:63: 1-17
标识
DOI:10.1109/tgrs.2025.3627904
摘要

Multimodal remote sensing semantic segmentation based on Optical and Digital Surface Model (Opt-DSM) data is pivotal for comprehensive scene interpretation. However, prevailing methodologies often lack a unified vision foundation model and encounter significant challenges in bridging modality gaps and achieving effective feature fusion. Conventional models, such as the Segment Anything Model (SAM), exhibit inherent limitations when addressing the unique complexities of multimodal remote sensing, particularly in managing cross-modal discrepancies and intricate surface structures. In this study, we present VF-MET (Vision Foundation Model-Driven Multi-Scale Expert Tuning), an innovative framework meticulously tailored for Opt-DSM semantic segmentation tasks. VF-MET incorporates an adaptive Multi-Scale Expert Tuning (AMET) strategy, which substantially enhances the feature extraction capabilities of vision foundation models. This enables the robust capture of cross-scale and morphologically irregular objects, while simultaneously preserving superior generalization ability. To further address the segmentation of densely distributed and weakly correlated regions, we propose a collaborative Box-Point Prompt Mechanism (CBPM), which significantly improves spatial localization and contextual discrimination. Moreover, we introduce a Two-Stage Mask Decoder (TSMD) that facilitates efficient multimodal feature fusion and augments contextual understanding. Extensive experiments conducted on public Opt-DSM benchmark datasets unequivocally demonstrate that VF-MET achieves state-of-the-art performance. Comprehensive ablation studies further substantiate the indispensable contributions of each constituent module within the proposed architecture. The source code and datasets are publicly accessible at https://github.com/NWPUFranklee/VF-MET.git.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
shi完成签到,获得积分10
1秒前
tina完成签到,获得积分10
3秒前
llli完成签到,获得积分10
3秒前
meta完成签到,获得积分10
8秒前
认真的可冥完成签到,获得积分10
8秒前
SnlyEng完成签到 ,获得积分10
17秒前
文文完成签到 ,获得积分10
18秒前
神也慕我谦姝完成签到,获得积分10
21秒前
钟原完成签到 ,获得积分10
24秒前
lzy完成签到 ,获得积分10
25秒前
31秒前
32秒前
2滴水完成签到,获得积分10
33秒前
Lee发布了新的文献求助10
34秒前
小静完成签到 ,获得积分10
36秒前
好好好发布了新的文献求助10
37秒前
周小篆完成签到,获得积分10
37秒前
Clover04的应助被科研通管家采纳,获得20
37秒前
Clover04的应助被科研通管家采纳,获得10
38秒前
Maestro_S的应助被科研通管家采纳,获得10
38秒前
胖胖橘完成签到 ,获得积分10
38秒前
cdercder的应助被科研通管家采纳,获得10
38秒前
亓雅丽完成签到 ,获得积分10
38秒前
39秒前
yk完成签到,获得积分10
46秒前
蒜蒜完成签到 ,获得积分10
47秒前
朱科源啊源完成签到 ,获得积分0
49秒前
香蕉觅云的应助被Cell采纳,获得10
52秒前
积极凌兰完成签到 ,获得积分10
54秒前
大气钥匙完成签到,获得积分10
1分钟前
YHBBZ完成签到 ,获得积分10
1分钟前
爱我不上火完成签到 ,获得积分10
1分钟前
天宇完成签到,获得积分10
1分钟前
vviruz完成签到,获得积分10
1分钟前
1分钟前
欧阳完成签到 ,获得积分10
1分钟前
Cell发布了新的文献求助10
1分钟前
两土日青发布了新的文献求助10
1分钟前
彭于晏的应助被好好好采纳,获得10
1分钟前
2026成功上岸完成签到 ,获得积分10
1分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8190366
求助须知:如何正确求助?哪些是违规求助? 9577468
关于积分的说明 21852573
捐赠科研通 7789024
什么是DOI,文献DOI怎么找? 3436347
关于科研通互助平台的介绍 2560154
邀请新用户注册赠送积分活动 2482995