An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

人工智能 计算机科学 变压器 比例(比率) 图像(数学) 计算机视觉 地图学 工程类 地理 电气工程 电压
作者
Alexey Dosovitskiy,Lucas Beyer,Alexander Kolesnikov,Dirk Weissenborn,Xiaohua Zhai,Thomas Unterthiner,Mostafa Dehghani,Matthias Minderer,Georg Heigold,Sylvain Gelly,Jakob Uszkoreit,Neil Houlsby
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:68012
标识
DOI:10.48550/arxiv.2010.11929
摘要

While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to replace certain components of convolutional networks while keeping their overall structure in place. We show that this reliance on CNNs is not necessary and a pure transformer applied directly to sequences of image patches can perform very well on image classification tasks. When pre-trained on large amounts of data and transferred to multiple mid-sized or small image recognition benchmarks (ImageNet, CIFAR-100, VTAB, etc.), Vision Transformer (ViT) attains excellent results compared to state-of-the-art convolutional networks while requiring substantially fewer computational resources to train.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
没事搞点学术完成签到 ,获得积分10
2秒前
9秒前
落寞的灵萱完成签到 ,获得积分10
10秒前
chenchen703完成签到 ,获得积分10
11秒前
俗人完成签到 ,获得积分10
11秒前
ng完成签到 ,获得积分10
13秒前
假真真完成签到 ,获得积分10
16秒前
xfy完成签到,获得积分10
16秒前
syvshc的应助被Omni采纳,获得10
17秒前
邢哥哥完成签到,获得积分10
17秒前
Qinzhiyuan1990完成签到 ,获得积分10
18秒前
BuSihan完成签到 ,获得积分10
19秒前
xuan2022完成签到,获得积分10
19秒前
lili完成签到 ,获得积分10
26秒前
锂电说完成签到 ,获得积分10
27秒前
夜未央完成签到 ,获得积分10
28秒前
bellapp完成签到 ,获得积分10
28秒前
Shandongdaxiu完成签到 ,获得积分10
30秒前
30秒前
朴素的嚓茶完成签到,获得积分10
33秒前
阳光的易形完成签到,获得积分10
36秒前
观澜完成签到 ,获得积分10
37秒前
万能图书馆的应助被taotao采纳,获得30
40秒前
文献就着酒灵感如泉涌完成签到,获得积分10
41秒前
科学心完成签到,获得积分10
44秒前
Akim的应助被维维采纳,获得10
48秒前
cjl完成签到 ,获得积分10
54秒前
55秒前
taotao发布了新的文献求助30
59秒前
维维完成签到,获得积分10
1分钟前
1分钟前
维维发布了新的文献求助10
1分钟前
1分钟前
wuqs完成签到,获得积分10
1分钟前
岁大爷发布了新的文献求助10
1分钟前
不安碧灵完成签到,获得积分10
1分钟前
呆萌芙蓉完成签到 ,获得积分10
1分钟前
樱岛芳子完成签到 ,获得积分10
1分钟前
CY完成签到,获得积分0
1分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8173289
求助须知:如何正确求助?哪些是违规求助? 9565594
关于积分的说明 21780596
捐赠科研通 7767485
什么是DOI,文献DOI怎么找? 3431542
关于科研通互助平台的介绍 2555764
邀请新用户注册赠送积分活动 2476714