清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整的填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Dual Vision Transformer

计算机科学 人工智能 变压器 计算复杂性理论 像素 计算 语义学(计算机科学) 特征提取 利用 理论计算机科学 算法 物理 计算机安全 电压 程序设计语言 量子力学
作者
Ting Yao,Yehao Li,Yingwei Pan,Yu Wang,Xiaoping Zhang,Tao Mei
出处
期刊:IEEE Transactions on Pattern Analysis and Machine Intelligence [Institute of Electrical and Electronics Engineers]
卷期号:45 (9): 10870-10882 被引量:19
标识
DOI:10.1109/tpami.2023.3268446
摘要

Recent advances have presented several strategies to mitigate the computations of self-attention mechanism with high-resolution inputs. Many of these works consider decomposing the global self-attention procedure over image patches into regional and local feature extraction procedures that each incurs a smaller computational complexity. Despite good efficiency, these approaches seldom explore the holistic interactions among all patches, and are thus difficult to fully capture the global semantics. In this paper, we propose a novel Transformer architecture that elegantly exploits the global semantics for self-attention learning, namely Dual Vision Transformer (Dual-ViT). The new architecture incorporates a critical semantic pathway that can more efficiently compress token vectors into global semantics with reduced order of complexity. Such compressed global semantics then serve as useful prior information in learning finer local pixel level details, through another constructed pixel pathway. The semantic pathway and pixel pathway are integrated together and are jointly trained, spreading the enhanced self-attention information in parallel through both of the pathways. Dual-ViT is henceforth able to capitalize on global semantics to boost self-attention learning without compromising much computational complexity. We empirically demonstrate that Dual-ViT provides superior accuracy than SOTA Transformer architectures with comparable training complexity.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
童童完成签到,获得积分10
34秒前
红茸茸羊完成签到 ,获得积分10
39秒前
su完成签到 ,获得积分10
58秒前
米夏完成签到 ,获得积分10
1分钟前
无问西东完成签到 ,获得积分0
1分钟前
金鱼完成签到,获得积分10
1分钟前
JAMA兜里揣完成签到,获得积分10
1分钟前
饱满的衬衫完成签到 ,获得积分10
1分钟前
LXY完成签到,获得积分10
1分钟前
边曦完成签到 ,获得积分10
1分钟前
1分钟前
Dream完成签到 ,获得积分10
1分钟前
hello发布了新的文献求助10
2分钟前
金珠珠完成签到 ,获得积分10
2分钟前
GTRK完成签到 ,获得积分10
2分钟前
KK完成签到,获得积分20
2分钟前
天天快乐应助Amosummer采纳,获得10
2分钟前
2分钟前
路路完成签到 ,获得积分10
3分钟前
3分钟前
zhoumiao完成签到 ,获得积分10
3分钟前
痞子毛完成签到,获得积分10
3分钟前
世间安得双全法完成签到,获得积分10
3分钟前
香蕉觅云应助科研通管家采纳,获得10
3分钟前
直率的无极完成签到,获得积分10
3分钟前
Hello应助直率的无极采纳,获得10
3分钟前
3分钟前
Amosummer发布了新的文献求助10
3分钟前
合适依秋完成签到 ,获得积分10
4分钟前
blueberry完成签到 ,获得积分10
4分钟前
天地一沙鸥完成签到,获得积分10
4分钟前
zhangxr完成签到 ,获得积分10
4分钟前
机智的小羊尾完成签到 ,获得积分10
4分钟前
喵喵完成签到 ,获得积分10
5分钟前
完美世界应助科研通管家采纳,获得10
5分钟前
lanxinge完成签到 ,获得积分10
5分钟前
阜睿完成签到 ,获得积分10
5分钟前
tongluobing完成签到,获得积分10
6分钟前
skkstar完成签到 ,获得积分0
6分钟前
桂花完成签到 ,获得积分10
6分钟前
高分求助中
Un calendrier babylonien des travaux, des signes et des mois: Séries iqqur îpuš 1036
Sustainable Land Management: Strategies to Cope with the Marginalisation of Agriculture 1000
Corrosion and Oxygen Control 600
Python Programming for Linguistics and Digital Humanities: Applications for Text-Focused Fields 500
Heterocyclic Stilbene and Bibenzyl Derivatives in Liverworts: Distribution, Structures, Total Synthesis and Biological Activity 500
重庆市新能源汽车产业大数据招商指南(两链两图两池两库两平台两清单两报告) 400
Division and square root. Digit-recurrence algorithms and implementations 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 有机化学 工程类 生物化学 纳米技术 物理 内科学 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 电极 光电子学 量子力学
热门帖子
关注 科研通微信公众号,转发送积分 2546000
求助须知:如何正确求助?哪些是违规求助? 2175672
关于积分的说明 5600229
捐赠科研通 1896383
什么是DOI,文献DOI怎么找? 946268
版权声明 565379
科研通“疑难数据库(出版商)”最低求助积分说明 503557