清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

PMTSeg: Prompt-Driven Multimodal Transformer for Task-Adapted Remote Sensing Image Segmentation

计算机科学 计算机视觉 图像分割 人工智能 分割 遥感 变压器 地质学 工程类 电压 电气工程
作者
Kejun Liu,Xuesong Yan,Yuanyuan Liu,Chang Tang,Yibing Zhan,Wei Luo,Wujie Zhou,Hongyan Zhang
出处
期刊:IEEE Transactions on Geoscience and Remote Sensing [Institute of Electrical and Electronics Engineers]
卷期号:63: 1-15
标识
DOI:10.1109/tgrs.2025.3586620
摘要

Multimodal remote sensing image segmentation (MRSIS) is important for intelligent remote sensing image (RS) interpretation, which encompasses three distinct tasks: semantic segmentation, instance segmentation, and panoptic segmentation. Existing methods typically address individual tasks with specialized models, limiting generalization and real-world applicability. Multi-task learning approaches have introduced separated task heads to unify tasks, yet we identify two key challenges when directly applying them to MRSIS: (1) the modality gap, arising from semantic discrepancies and granularity discrepancies across RS modalities, and (2) the task gap, due to varying preferences in learning different segmentation tasks. To overcome these challenges, we propose PMTSeg—a novel Prompt-driven Multimodal Transformer for task-adapted MRSIS. PMTSeg integrates three key components: (1) Task-common Multimodal Affinity Approximation (TMAA), (2) Task-common Multi-scale Semantic Fusion (TMSF), and (3) a unified Prompt-driven Segmentation Head (PSH). First, TMAA addresses the modality gap by approximating inter-modal affinity matrices, extracting task-common features across modalities and aligning semantic information. Then, TMSF further integrates these features using the scale-matched fusion at multiple scales to produce enriched, multi-scale task-common features. Moreover, to address the task gap, the PSH leverages task-adapted text prompts and task-adapted contrastive loss to model relationships across tasks, enabling adaptive optimization for robust and universal MRSIS performance. Extensive experiments on three MRSIS datasets—VALID, SEMCITY TOULOUSE, and UBCV2—demonstrate that PMTSeg significantly surpasses state-of-the-art methods in all three segmentation tasks, offering a unified and accurate solution to MRSIS.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
等待的依波完成签到,获得积分10
1秒前
17991完成签到,获得积分10
6秒前
苗苗完成签到,获得积分10
14秒前
vbnn完成签到 ,获得积分10
23秒前
24秒前
忘忧Aquarius完成签到,获得积分0
25秒前
buqi完成签到,获得积分10
26秒前
29秒前
linj完成签到,获得积分10
30秒前
petrichor完成签到 ,获得积分10
30秒前
正常糖完成签到 ,获得积分10
35秒前
独特问梅完成签到,获得积分10
37秒前
单纯冰菱完成签到,获得积分10
41秒前
小蘑菇的应助被TingtingGZ采纳,获得10
43秒前
berry完成签到,获得积分10
51秒前
Jasonkun完成签到,获得积分10
52秒前
jlin完成签到,获得积分10
54秒前
creep2020完成签到,获得积分0
1分钟前
muriel完成签到,获得积分0
1分钟前
冷静的尔竹完成签到,获得积分10
1分钟前
无奈小玉完成签到,获得积分10
1分钟前
1分钟前
CodeCraft的应助被蜗牛好好飞采纳,获得10
1分钟前
珈沐完成签到,获得积分10
1分钟前
TingtingGZ发布了新的文献求助10
1分钟前
e746700020完成签到,获得积分10
1分钟前
火星上的小蚂蚁完成签到,获得积分10
1分钟前
耍酷平凡完成签到,获得积分10
1分钟前
mailang完成签到,获得积分10
1分钟前
1分钟前
体贴雪萍完成签到,获得积分10
1分钟前
房天川完成签到 ,获得积分10
1分钟前
明朗完成签到 ,获得积分0
1分钟前
1分钟前
lynn发布了新的文献求助10
1分钟前
1分钟前
lynn完成签到,获得积分20
1分钟前
正直寻绿完成签到,获得积分10
1分钟前
cocolinfly完成签到 ,获得积分10
2分钟前
科目三的应助被TingtingGZ采纳,获得10
2分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8173213
求助须知:如何正确求助?哪些是违规求助? 9565567
关于积分的说明 21780511
捐赠科研通 7767373
什么是DOI,文献DOI怎么找? 3431542
关于科研通互助平台的介绍 2555730
邀请新用户注册赠送积分活动 2476697