亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers

高光谱成像 计算机科学 骨干网 模式识别(心理学) 人工智能 变压器 卷积神经网络 特征提取 像素 上下文图像分类 数据挖掘 图像(数学) 电信 量子力学 物理 电压
作者
Danfeng Hong,Zhu Han,Jing Yao,Lianru Gao,Bing Zhang,Antonio Plaza,Jocelyn Chanussot
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:1219
标识
DOI:10.1109/tgrs.2021.3130716
摘要

Hyperspectral (HS) images are characterized by approximately contiguous spectral information, enabling the fine identification of materials by capturing subtle spectral discrepancies. Owing to their excellent locally contextual modeling ability, convolutional neural networks (CNNs) have been proven to be a powerful feature extractor in HS image classification. However, CNNs fail to mine and represent the sequence attributes of spectral signatures well due to the limitations of their inherent network backbone. To solve this issue, we rethink HS image classification from a sequential perspective with transformers, and propose a novel backbone network called \ul{SpectralFormer}. Beyond band-wise representations in classic transformers, SpectralFormer is capable of learning spectrally local sequence information from neighboring bands of HS images, yielding group-wise spectral embeddings. More significantly, to reduce the possibility of losing valuable information in the layer-wise propagation process, we devise a cross-layer skip connection to convey memory-like components from shallow to deep layers by adaptively learning to fuse "soft" residuals across layers. It is worth noting that the proposed SpectralFormer is a highly flexible backbone network, which can be applicable to both pixel- and patch-wise inputs. We evaluate the classification performance of the proposed SpectralFormer on three HS datasets by conducting extensive experiments, showing the superiority over classic transformers and achieving a significant improvement in comparison with state-of-the-art backbone networks. The codes of this work will be available at https://github.com/danfenghong/IEEE_TGRS_SpectralFormer for the sake of reproducibility.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
初初初啊发布了新的文献求助10
1秒前
cjy完成签到 ,获得积分10
3秒前
4秒前
cccc完成签到,获得积分10
5秒前
温良完成签到 ,获得积分10
7秒前
8秒前
9秒前
初初初啊发布了新的文献求助10
10秒前
科研通AI6.4的应助被香果采纳,获得10
10秒前
突突完成签到 ,获得积分10
11秒前
12秒前
13秒前
13秒前
sue发布了新的文献求助10
15秒前
16秒前
16秒前
无语的幻露完成签到,获得积分10
16秒前
初初初啊发布了新的文献求助10
18秒前
萧雨墨发布了新的文献求助10
19秒前
19秒前
千早爱音完成签到 ,获得积分10
19秒前
DTS发布了新的文献求助10
20秒前
21秒前
21秒前
抚琴祛魅完成签到 ,获得积分10
22秒前
27秒前
何在完成签到,获得积分10
28秒前
Lucas的应助被DTS采纳,获得10
29秒前
31秒前
Ziezer完成签到,获得积分10
32秒前
初初初啊发布了新的文献求助10
32秒前
生性不爱说话完成签到,获得积分10
34秒前
DTS完成签到,获得积分10
36秒前
可爱多婷婷子完成签到 ,获得积分10
36秒前
单身的曲奇完成签到,获得积分10
37秒前
霸气的远望完成签到 ,获得积分10
40秒前
40秒前
Nole的应助被pursuit采纳,获得30
41秒前
迪恩关注了科研通微信公众号
44秒前
初初初啊发布了新的文献求助10
45秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8190060
求助须知:如何正确求助?哪些是违规求助? 9577165
关于积分的说明 21851884
捐赠科研通 7788155
什么是DOI,文献DOI怎么找? 3436233
关于科研通互助平台的介绍 2559935
邀请新用户注册赠送积分活动 2482792