SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers

计算机科学 变压器 分割 编码器 稳健性(进化) 人工智能 算法 模式识别(心理学) 计算机工程 工程类 电压 生物化学 基因 操作系统 电气工程 化学
作者
Enze Xie,Wenhai Wang,Zhiding Yu,Animashree Anandkumar,José Manuel Álvarez,Ping Luo
出处
期刊:California Institute of Technology - CaltechAUTHORS [California Institute of Technology]
被引量:11692
标识
DOI:10.48550/arxiv.2105.15203
摘要

We present SegFormer, a simple, efficient yet powerful semantic segmentation framework which unifies Transformers with lightweight multilayer perception (MLP) decoders. SegFormer has two appealing features: 1) SegFormer comprises a novel hierarchically structured Transformer encoder which outputs multiscale features. It does not need positional encoding, thereby avoiding the interpolation of positional codes which leads to decreased performance when the testing resolution differs from training. 2) SegFormer avoids complex decoders. The proposed MLP decoder aggregates information from different layers, and thus combining both local attention and global attention to render powerful representations. We show that this simple and lightweight design is the key to efficient segmentation on Transformers. We scale our approach up to obtain a series of models from SegFormer-B0 to SegFormer-B5, reaching significantly better performance and efficiency than previous counterparts. For example, SegFormer-B4 achieves 50.3% mIoU on ADE20K with 64M parameters, being 5x smaller and 2.2% better than the previous best method. Our best model, SegFormer-B5, achieves 84.0% mIoU on Cityscapes validation set and shows excellent zero-shot robustness on Cityscapes-C. Code will be released at: github.com/NVlabs/SegFormer.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
一如初见完成签到,获得积分10
1秒前
3秒前
3秒前
完美世界的应助被惊嵐采纳,获得10
3秒前
3秒前
潇澜完成签到,获得积分10
4秒前
Gabriel1116发布了新的文献求助10
4秒前
Xi完成签到,获得积分10
4秒前
YT完成签到 ,获得积分10
5秒前
5秒前
6秒前
平常的毛衣完成签到,获得积分10
7秒前
hjc641发布了新的文献求助10
8秒前
8秒前
9秒前
Lily发布了新的文献求助10
9秒前
NexusExplorer的应助被棟糖采纳,获得10
10秒前
wei完成签到,获得积分10
11秒前
Xiao完成签到,获得积分20
13秒前
15秒前
zxf发布了新的文献求助10
15秒前
wan发布了新的文献求助10
15秒前
长情的雨发布了新的文献求助10
15秒前
16秒前
16秒前
18秒前
18秒前
我是谁的应助被wang采纳,获得100
19秒前
19秒前
思源的应助被爱喝蜜桃乌龙采纳,获得10
19秒前
在水一方的应助被Sealthy采纳,获得10
20秒前
wg发布了新的文献求助10
20秒前
21秒前
漆漆发布了新的文献求助10
22秒前
22秒前
滴滴答答完成签到,获得积分10
22秒前
22秒前
22秒前
22秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8188295
求助须知:如何正确求助?哪些是违规求助? 9576112
关于积分的说明 21845392
捐赠科研通 7786320
什么是DOI,文献DOI怎么找? 3435276
关于科研通互助平台的介绍 2559581
邀请新用户注册赠送积分活动 2482182