Transferable image synthesis for remote sensing semantic segmentation via joint reference-semantic fusion

计算机科学 分割 人工智能 特征(语言学) 接头(建筑物) 语义鸿沟 生成语法 生成模型 语义数据模型 图像(数学) 模式识别(心理学) 传感器融合 图像分割 语义特征 训练集 特征学习 语义学(计算机科学) 数据驱动 数据挖掘 标记数据 搜索引擎索引 机器学习 相似性(几何) 特征提取 合成数据 情报检索 计算机视觉 图像融合
作者
Runmin Dong,Shuai Yuan,Litong Feng,Jinxiao Zhang,Weijia Li,Mengxuan Chen,Bin Luo,Wayne Zhang,Haohuan Fu
出处
期刊:Information Fusion [Elsevier BV]
卷期号:127: 103839-103839 被引量:7
标识
DOI:10.1016/j.inffus.2025.103839
摘要

• A novel transferable image synthesis method for remote sensing semantic segmentation • Improving the diversity of synthetic data by introducing unlabeled target data • Integrating reference images, semantic masks, and text prompts during model training • Facilitating multi-modal information interaction through a joint learning strategy • Verifying that our data-centric method can further improve modelcentric results With the advancement of diffusion model-based generative methods, synthesizing pixel-level training datasets has emerged as a promising approach to mitigate the scarcity of annotated data in semantic segmentation tasks. However, a noticeable gap persists between data synthesis and semantic segmentation tasks in the remote sensing (RS) domain. Due to the diversity of RS data across sensors and spatial scales, relying solely on limited annotated data and pre-trained generative foundation models to synthesize training data brings minor improvements in RS semantic segmentation tasks. Therefore, it becomes crucial to incorporate large volumes of unlabeled external data into downstream tasks to enable more transferable image synthesis. Unlike training-free approaches that introduce reference (Ref) images primarily for shallow feature transfer, we propose a joint learning strategy that integrates Ref images, semantic masks, and text prompts during training. This facilitates multi-modal interaction and allows the model to capture deeper features such as content. To achieve effective multi-modal information fusion, the proposed Transferable Image Synthesis method (TISynth) avoids directly using real Ref images during training. Instead, it generates Ref images from augmented input images, and facilitates interaction between Ref images and semantic information through text prompts and an all-in-attention module. As a data augmentation approach for semantic segmentation task, TISynth improve the OA/mIoU/mAcc by 1.52%/2.32%/3.04% on FUSU-4k, 1.33%/1.06%/3.04% on GID-26k, and 1.15%/1.67%/2.04% on LoveDA (Rural → Urban), compared to the baseline trained only on the original data. Moreover, compared to state-of-the-art segmentation training data synthesis methods, our approach achieves superior performance across datasets of varying scales, resolutions, segmentation complexities, and domains. Our code is available at https://github.com/dongrunmin/TISynth.git .
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
啊对对对完成签到,获得积分10
1秒前
1秒前
2秒前
kikuki发布了新的文献求助10
2秒前
violet发布了新的文献求助10
3秒前
JPH1990完成签到,获得积分10
3秒前
小李完成签到,获得积分10
3秒前
4秒前
LI发布了新的文献求助10
4秒前
在水一方的应助被嘿嘿采纳,获得10
5秒前
yy完成签到,获得积分10
6秒前
芒go完成签到,获得积分10
6秒前
无为发布了新的文献求助10
7秒前
tongtong发布了新的文献求助10
7秒前
Debra完成签到,获得积分10
8秒前
Taikonaut发布了新的文献求助10
9秒前
Owen的应助被li采纳,获得30
10秒前
asd888完成签到,获得积分10
10秒前
10秒前
在一完成签到,获得积分10
10秒前
11秒前
火山书痴完成签到 ,获得积分10
11秒前
李爱国的应助被syw采纳,获得20
12秒前
12秒前
听雨完成签到,获得积分10
12秒前
久某完成签到,获得积分20
13秒前
在水一方的应助被xiaowei666采纳,获得10
14秒前
胡萝卜完成签到,获得积分10
14秒前
Lin完成签到,获得积分10
14秒前
15秒前
Kumple发布了新的文献求助10
15秒前
upcomingbias完成签到,获得积分10
15秒前
syvshc的应助被WYL采纳,获得10
15秒前
Debra发布了新的文献求助10
16秒前
16秒前
tongtong完成签到,获得积分10
17秒前
KL完成签到,获得积分20
17秒前
17秒前
田様的应助被哭泣水壶采纳,获得10
18秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Agyptische Geschichte der 21.30. Dynastie 510
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8192020
求助须知:如何正确求助?哪些是违规求助? 9578648
关于积分的说明 21861105
捐赠科研通 7791458
什么是DOI,文献DOI怎么找? 3436765
关于科研通互助平台的介绍 2560502
邀请新用户注册赠送积分活动 2483544