Advancing Vision Transformer With Enhanced Spatial Priors

人工智能 计算机科学 计算机视觉 先验概率 模式识别(心理学) 变压器 机器视觉 图像分割 特征提取 图像处理 稳健性(进化) 目标检测 贝叶斯概率 迭代重建 机器学习
作者
Qihang Fan,Huaibo Huang,Mingrui Chen,Hongmin Liu,Ran He
出处
期刊:IEEE Transactions on Pattern Analysis and Machine Intelligence [IEEE Computer Society]
卷期号:48 (8): 9711-9729
标识
DOI:10.1109/tpami.2026.3683127
摘要

In recent years, the Vision Transformer (ViT) has garnered significant attention within the computer vision community. However, the core component of ViT, Self-Attention, lacks explicit spatial priors and suffers from quadratic computational complexity, limiting its applicability. To address these issues, we have proposed RMT, a robust vision backbone with explicit spatial priors for general purposes. RMT utilizes Manhattan distance decay to introduce spatial information and employs a horizontal and vertical decomposition attention method to model global information. Building on the strengths of RMT, Euclidean enhanced Vision Transformer (EVT) is an expanded version that incorporates several key improvements. Firstly, EVT uses a more reasonable Euclidean distance decay to enhance the modeling of spatial information, allowing for a more accurate representation of spatial relationships compared to the Manhattan distance used in RMT. Secondly, EVT abandons the decomposed attention mechanism featured in RMT and instead adopts a simpler spatially-independent grouping approach, providing the model with greater flexibility in controlling the number of tokens within each group. By addressing these modifications, EVT offers a more sophisticated and adaptable approach to incorporating spatial priors into the Self-Attention mechanism, thus overcoming some of the limitations associated with RMT and further enhancing its applicability in various computer vision tasks. Extensive experiments on Image Classification, Object Detection, Instance Segmentation, and Semantic Segmentation demonstrate that EVT exhibits exceptional performance. Without additional training data, EVT achieves 86.6% top1-acc on ImageNet-1 k.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
起朱楼完成签到,获得积分10
1秒前
lxy完成签到,获得积分10
1秒前
1秒前
我www完成签到,获得积分10
1秒前
郭菲完成签到,获得积分10
1秒前
樊夔完成签到,获得积分10
1秒前
小二郎的应助被Rony采纳,获得10
2秒前
Shirley完成签到,获得积分10
2秒前
neufy完成签到,获得积分10
2秒前
智慧完成签到,获得积分10
2秒前
虚室生白完成签到,获得积分10
2秒前
Owen的应助被qss8807采纳,获得10
2秒前
苻醉蓝完成签到,获得积分10
2秒前
Jeff完成签到,获得积分10
2秒前
周亮亮完成签到,获得积分10
2秒前
秦大帅完成签到,获得积分10
4秒前
眼睛大的从雪完成签到,获得积分10
4秒前
hj_tian完成签到,获得积分10
5秒前
霸气雨梅完成签到 ,获得积分10
5秒前
兼听则明完成签到,获得积分10
5秒前
momo发布了新的文献求助10
5秒前
青山完成签到,获得积分10
6秒前
ann发布了新的文献求助10
6秒前
6秒前
劳伦斯完成签到 ,获得积分10
6秒前
秋雨完成签到,获得积分10
7秒前
今后的应助被奶油布丁采纳,获得10
7秒前
7秒前
信徒完成签到,获得积分10
8秒前
慕青的应助被正直的的白羊采纳,获得10
8秒前
四福祥完成签到,获得积分10
8秒前
ace完成签到,获得积分10
8秒前
weixiaozhe完成签到,获得积分10
8秒前
好学天上完成签到,获得积分10
8秒前
韶芸遥完成签到,获得积分10
8秒前
8秒前
8秒前
8秒前
药药55完成签到,获得积分10
9秒前
Delia完成签到 ,获得积分10
9秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8159288
求助须知:如何正确求助?哪些是违规求助? 9554702
关于积分的说明 21720900
捐赠科研通 7748911
什么是DOI,文献DOI怎么找? 3427184
关于科研通互助平台的介绍 2552111
邀请新用户注册赠送积分活动 2471479