SparseSwin: Swin Transformer with Sparse Transformer Block

变压器 计算机科学 建筑 安全性令牌 杠杆(统计) 人工智能 工程类 电气工程 计算机网络 电压 艺术 视觉艺术
作者
Krisna Pinasthika,Blessius Sheldo Putra Laksono,Riyandi Banovbi Putera Irsal,Syifa’ Hukma Shabiyya,Novanto Yudistira
出处
期刊:Cornell University - arXiv
标识
DOI:10.48550/arxiv.2309.05224
摘要

Advancements in computer vision research have put transformer architecture as the state of the art in computer vision tasks. One of the known drawbacks of the transformer architecture is the high number of parameters, this can lead to a more complex and inefficient algorithm. This paper aims to reduce the number of parameters and in turn, made the transformer more efficient. We present Sparse Transformer (SparTa) Block, a modified transformer block with an addition of a sparse token converter that reduces the number of tokens used. We use the SparTa Block inside the Swin T architecture (SparseSwin) to leverage Swin capability to downsample its input and reduce the number of initial tokens to be calculated. The proposed SparseSwin model outperforms other state of the art models in image classification with an accuracy of 86.96%, 97.43%, and 85.35% on the ImageNet100, CIFAR10, and CIFAR100 datasets respectively. Despite its fewer parameters, the result highlights the potential of a transformer architecture using a sparse token converter with a limited number of tokens to optimize the use of the transformer and improve its performance.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
金金金金完成签到,获得积分10
1秒前
1秒前
shfgref完成签到,获得积分10
2秒前
忧郁的火腿蛋炒面完成签到,获得积分10
3秒前
snow发布了新的文献求助10
4秒前
BioCell发布了新的文献求助10
5秒前
世当珍惜完成签到,获得积分10
5秒前
ShuangqingYE发布了新的文献求助10
6秒前
小马甲应助张老师采纳,获得10
6秒前
852应助西格玛采纳,获得10
7秒前
7秒前
默默火完成签到,获得积分10
8秒前
9秒前
9秒前
Anthocyanidin完成签到,获得积分10
9秒前
珩溢完成签到,获得积分10
9秒前
我是老大应助科研小白采纳,获得10
9秒前
10秒前
休思完成签到 ,获得积分10
11秒前
11秒前
悠悠完成签到 ,获得积分10
11秒前
慕青应助Stygain采纳,获得10
13秒前
小小发布了新的文献求助10
13秒前
DH完成签到,获得积分10
13秒前
15秒前
HE发布了新的文献求助10
15秒前
小心科研关注了科研通微信公众号
16秒前
马保国123完成签到,获得积分10
16秒前
Mister_CHEN完成签到,获得积分10
16秒前
Ray完成签到,获得积分10
16秒前
17秒前
ao20000106发布了新的文献求助10
17秒前
小希完成签到,获得积分10
17秒前
迅速的萧完成签到 ,获得积分10
18秒前
医文轩完成签到,获得积分10
19秒前
小小完成签到,获得积分20
19秒前
ffff完成签到,获得积分10
20秒前
喜悦兔子完成签到 ,获得积分10
20秒前
samon_007发布了新的文献求助20
20秒前
明理小凝完成签到 ,获得积分10
21秒前
高分求助中
Teaching Social and Emotional Learning in Physical Education 900
Plesiosaur extinction cycles; events that mark the beginning, middle and end of the Cretaceous 500
Two-sample Mendelian randomization analysis reveals causal relationships between blood lipids and venous thromboembolism 500
Chinese-English Translation Lexicon Version 3.0 500
[Lambert-Eaton syndrome without calcium channel autoantibodies] 440
薩提亞模式團體方案對青年情侶輔導效果之研究 400
3X3 Basketball: Everything You Need to Know 310
热门求助领域 (近24小时)
化学 材料科学 医学 生物 有机化学 工程类 生物化学 纳米技术 物理 内科学 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 电极 光电子学 量子力学
热门帖子
关注 科研通微信公众号,转发送积分 2387721
求助须知:如何正确求助?哪些是违规求助? 2094117
关于积分的说明 5271017
捐赠科研通 1820857
什么是DOI,文献DOI怎么找? 908306
版权声明 559289
科研通“疑难数据库(出版商)”最低求助积分说明 485217