Transformer-Based Visual Segmentation: A Survey

计算机科学 分割 人工智能 卷积神经网络 深度学习 点云 变压器 建筑 图像分割 基于分割的对象分类 尺度空间分割 机器学习 计算机视觉 工程类 电压 电气工程 艺术 视觉艺术
作者
Xiangtai Li,Henghui Ding,Haobo Yuan,Wenwei Zhang,Jiangmiao Pang,Guangliang Cheng,Kai Chen,Ziwei Liu,Chen Change Loy
出处
期刊:IEEE Transactions on Pattern Analysis and Machine Intelligence [IEEE Computer Society]
卷期号:46 (12): 10138-10163 被引量:135
标识
DOI:10.1109/tpami.2024.3434373
摘要

Visual segmentation seeks to partition images, video frames, or point clouds into multiple segments or groups. This technique has numerous real-world applications, such as autonomous driving, image editing, robot sensing, and medical analysis. Over the past decade, deep learning-based methods have made remarkable strides in this area. Recently, transformers, a type of neural network based on self-attention originally designed for natural language processing, have considerably surpassed previous convolutional or recurrent approaches in various vision processing tasks. Specifically, vision transformers offer robust, unified, and even simpler solutions for various segmentation tasks. This survey provides a thorough overview of transformer-based visual segmentation, summarizing recent advancements. We first review the background, encompassing problem definitions, datasets, and prior convolutional methods. Next, we summarize a meta-architecture that unifies all recent transformer-based approaches. Based on this meta-architecture, we examine various method designs, including modifications to the meta-architecture and associated applications. We also present several specific subfields, including 3D point cloud segmentation, foundation model tuning, domain-aware segmentation, efficient segmentation, and medical segmentation. Additionally, we compile and re-evaluate the reviewed methods on several well-established datasets. Finally, we identify open challenges in this field and propose directions for future research.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
Jzag完成签到 ,获得积分10
3秒前
白叶与茶完成签到 ,获得积分10
7秒前
9秒前
冯尔蓝完成签到,获得积分10
11秒前
xiaolizi发布了新的文献求助50
14秒前
xiaobin完成签到 ,获得积分10
18秒前
一诺相许完成签到,获得积分10
18秒前
19秒前
19秒前
jixuchance完成签到,获得积分10
19秒前
WittingGU完成签到,获得积分0
20秒前
yuuuuuuuuuuu发布了新的文献求助10
22秒前
Gavin完成签到,获得积分10
24秒前
milk完成签到 ,获得积分10
25秒前
27秒前
李健的小迷弟的应助被胖头鱼采纳,获得30
34秒前
嘻嘻完成签到 ,获得积分10
36秒前
pp完成签到 ,获得积分10
36秒前
39秒前
胖头鱼完成签到,获得积分20
40秒前
李晟哲完成签到,获得积分10
45秒前
胖头鱼发布了新的文献求助30
45秒前
尘远知山静完成签到 ,获得积分10
48秒前
筱筱完成签到 ,获得积分10
49秒前
linr_terran的应助被一诺相许采纳,获得10
49秒前
ff完成签到 ,获得积分10
50秒前
17完成签到,获得积分10
53秒前
wiken完成签到,获得积分20
54秒前
科研小哥的应助被yuuuuuuuuuuu采纳,获得10
55秒前
123完成签到 ,获得积分10
56秒前
我直接狂学完成签到,获得积分10
57秒前
喷火娃的应助被wiken采纳,获得10
59秒前
无限致远完成签到,获得积分10
1分钟前
zero完成签到 ,获得积分10
1分钟前
晚风拾月完成签到,获得积分10
1分钟前
姜勇完成签到,获得积分10
1分钟前
wzy完成签到 ,获得积分10
1分钟前
在水一方的应助被科研通管家采纳,获得10
1分钟前
cdercder的应助被科研通管家采纳,获得10
1分钟前
搜集达人的应助被科研通管家采纳,获得10
1分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8190389
求助须知:如何正确求助?哪些是违规求助? 9577468
关于积分的说明 21852623
捐赠科研通 7789041
什么是DOI,文献DOI怎么找? 3436369
关于科研通互助平台的介绍 2560180
邀请新用户注册赠送积分活动 2482995