已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

FactoFormer: Factorized Hyperspectral Transformers With Self-Supervised Pretraining

高光谱成像 计算机科学 变压器 人工智能 模式识别(心理学) 空间分析 数据挖掘 遥感 工程类 电气工程 地质学 电压
作者
Shaheer Mohamed,Maryam Haghighat,Tharindu Fernando,Sridha Sridharan,Clinton Fookes,Peyman Moghadam
出处
期刊:IEEE Transactions on Geoscience and Remote Sensing [Institute of Electrical and Electronics Engineers]
卷期号:62: 1-14 被引量:30
标识
DOI:10.1109/tgrs.2023.3343392
摘要

Hyperspectral images (HSIs) contain rich spectral and spatial information. Motivated by the success of transformers in the field of natural language processing and computer vision where they have shown the ability to learn long-range dependencies within input data, recent research has focused on using transformers for HSIs. However, current state-of-the-art hyperspectral transformers only tokenize the input HSI sample along the spectral dimension, resulting in the underutilization of spatial information. Moreover, transformers are known to be data-hungry and their performance relies heavily on large-scale pretraining, which is challenging due to limited annotated hyperspectral data. Therefore, the full potential of HSI transformers has not been fully realized. To overcome these limitations, we propose a novel factorized spectral–spatial transformer that incorporates factorized self-supervised pretraining procedures, leading to significant improvements in performance. The factorization of the inputs allows the spectral and spatial transformers to better capture the interactions within the hyperspectral data cubes. Inspired by masked image modeling (MIM) pretraining, we also devise efficient masking strategies for pretraining each of the spectral and spatial transformers. We conduct experiments on six publicly available datasets for the HSI classification task and demonstrate that our model achieves state-of-the-art performance in all the datasets. The code for our model will be made available at https://github.com/csiro-robotics/FactoFormer .
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
刚刚
2秒前
sssaw发布了新的文献求助10
3秒前
zyy发布了新的文献求助10
4秒前
111发布了新的文献求助10
4秒前
5秒前
5秒前
6秒前
烟花的应助被忐忑的元彤采纳,获得10
7秒前
FF发布了新的文献求助10
7秒前
momo完成签到,获得积分10
8秒前
杨洋发布了新的文献求助10
9秒前
皮皮虾完成签到 ,获得积分10
10秒前
自私的猫发布了新的文献求助10
10秒前
负责的翠完成签到,获得积分20
11秒前
12秒前
袅世完成签到 ,获得积分10
14秒前
14秒前
Jasper的应助被喜悦采纳,获得10
14秒前
禾几发布了新的文献求助10
17秒前
彭于晏的应助被小菜采纳,获得10
18秒前
minssf完成签到 ,获得积分10
18秒前
zyy完成签到,获得积分10
18秒前
予光完成签到 ,获得积分10
21秒前
麻瓜发布了新的文献求助10
21秒前
喜悦完成签到,获得积分20
21秒前
Rose完成签到,获得积分10
21秒前
23秒前
搜集达人的应助被杨洋采纳,获得10
24秒前
华仔的应助被小懒采纳,获得10
24秒前
25秒前
25秒前
木子见青完成签到 ,获得积分10
28秒前
LG关注了科研通微信公众号
28秒前
Rose发布了新的文献求助10
28秒前
Aeolus完成签到,获得积分10
29秒前
111发布了新的文献求助10
30秒前
Huang2317完成签到 ,获得积分10
31秒前
CTY236发布了新的文献求助10
32秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8184646
求助须知:如何正确求助?哪些是违规求助? 9573637
关于积分的说明 21832477
捐赠科研通 7781914
什么是DOI,文献DOI怎么找? 3434404
关于科研通互助平台的介绍 2558498
邀请新用户注册赠送积分活动 2481003