HyperSAM: A Promptable Foundation Model for Hyperspectral Remote Sensing

高光谱成像 遥感 计算机科学 人工智能 稳健性(进化) 多光谱图像 计算机视觉 RGB颜色模型 模式识别(心理学) 遥感应用 光谱特征 基本事实 异常检测 冗余(工程) 光谱带 图像分辨率 地球观测 全光谱成像 合成孔径雷达 VNIR公司
作者
Li Pang,Xinqiao Wu,Jing Yao,Pedram Ghamisi,Jun Zhou,Zhengchao Chen,Deyu Meng,Xiangyong Cao
出处
期刊:IEEE Geoscience and Remote Sensing Magazine [Institute of Electrical and Electronics Engineers]
卷期号:: 2-23
标识
DOI:10.1109/mgrs.2026.3739301
摘要

Hyperspectral remote sensing provides dense spectral measurements that are indispensable for material-level Earth observation, yet the construction of a general-purpose hyperspectral foundation model (HFM) remains difficult. Two bottlenecks are especially limiting. First, large hyperspectral corpora rarely provide high spatial resolution together with reliable dense annotations. Second, many hyperspectral models are still trained almost from scratch, so the geometric and interactive priors learned by modern vision foundation models are not fully reused. To alleviate these issues, we present HyperSAM, a promptable HFM that couples a data-centric hyperspectral synthesis pipeline with a spectral adaptation architecture based on Segment Anything Model 3 (SAM3). On the data side, HyperSAM synthesizes full-spectrum hyperspectral cubes from high-resolution SpaceNet multispectral imagery through a physics-informed abundance-transfer generator, while SAM3-derived pseudo-masks provide object-centric supervision. On the model side, the latest implementation uses a frozen SAM3 red, green, blue (RGB) image branch, a trainable hyperspectral side encoder initialized from the RGB vision transformer (ViT), ControlNet-style zero-initialized feature injection, and a lightweight mixture-of-experts (MoE) mask refiner. To enhance training robustness against noisy pseudo-labels, cross-modal sample selection (CromSS)-style confidence selection is incorporated for noisy-label weighting. Extensive experiments show that HyperSAM obtains strong generalization on diverse hyperspectral tasks (e.g., classification, anomaly detection, change detection, target detection, and airborne oil-spill mapping) and that high-quality synthetic hyperspectral data can be more effective than simply scaling noisy hyperspectral supervision.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
781473059完成签到,获得积分10
刚刚
Jimmy完成签到,获得积分10
刚刚
WANG01DU完成签到,获得积分10
1秒前
欧阳完成签到,获得积分10
1秒前
botao_li完成签到,获得积分10
1秒前
咩咩完成签到,获得积分10
1秒前
科研通AI6.2的应助被tszjw168采纳,获得10
2秒前
纳米酶催化完成签到,获得积分10
3秒前
yexing完成签到,获得积分10
3秒前
Kal完成签到 ,获得积分10
3秒前
清都山水郎完成签到,获得积分10
3秒前
4秒前
wen完成签到,获得积分10
4秒前
半点禅完成签到,获得积分10
4秒前
周辰完成签到,获得积分10
4秒前
79发布了新的文献求助10
4秒前
李健的小迷弟的应助被CO2采纳,获得10
5秒前
大盘菜完成签到,获得积分10
5秒前
Aaron完成签到 ,获得积分10
5秒前
刘亚军完成签到 ,获得积分10
6秒前
email完成签到,获得积分10
6秒前
MongMong完成签到,获得积分20
6秒前
二月完成签到,获得积分20
6秒前
还我小小嘴完成签到,获得积分10
7秒前
天真大碗完成签到,获得积分10
7秒前
聂大猛完成签到,获得积分10
7秒前
botao_li发布了新的文献求助10
7秒前
草莓大王完成签到,获得积分10
7秒前
乔治完成签到,获得积分10
8秒前
虹膜完成签到,获得积分10
8秒前
SS完成签到,获得积分10
8秒前
AAAA完成签到,获得积分10
8秒前
koreyosh完成签到 ,获得积分10
8秒前
草果完成签到,获得积分10
9秒前
shawnho完成签到,获得积分10
9秒前
MOMO完成签到,获得积分10
9秒前
思茶念酒完成签到 ,获得积分10
10秒前
liuguohua126完成签到,获得积分10
11秒前
波哥发布了新的文献求助10
11秒前
wuwu完成签到,获得积分10
11秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
Social Psychology in the Real World 600
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8180135
求助须知:如何正确求助?哪些是违规求助? 9570290
关于积分的说明 21809391
捐赠科研通 7776237
什么是DOI,文献DOI怎么找? 3433266
关于科研通互助平台的介绍 2557465
邀请新用户注册赠送积分活动 2479039