A Multi-Modal Learning System for On-Line Surgical Action Segmentation

情态动词 计算机科学 人工智能 分割 动作(物理) 计算机视觉 直线(几何图形) 数学 材料科学 物理 几何学 量子力学 高分子化学
作者
Giacomo De Rossi,Serena Roin,Francesco Setti,Riccardo Muradore
标识
DOI:10.1109/ismr48331.2020.9312950
摘要

Surgical action recognition and temporal segmentation is a building block needed to provide some degrees of autonomy to surgical robots. In this paper, we present a deep learning model that relies on videos and kinematic data to output in real-time the current action in a surgical procedure. The proposed neural network architecture is composed of two sub-networks: a Spatial-Kinematic Network, which produces high-level features by processing images and kinematic data, and a Temporal Convolutional Network, which filters such features temporally over a sliding window to stabilize their changes over time. Since we are interested in applications to real-time supervisory control of robots, we focus on an efficient and causal implementation, i.e. the prediction at sample k only depends on previous observations. We tested our causal architecture on the publicly available JIGSAWS dataset, outperforming comparable state-of-the-art non-causal algorithms up to 8.6% in the edit score.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
陈医生的步行实验完成签到,获得积分20
刚刚
吴慧琼发布了新的文献求助10
刚刚
饭遇碟完成签到 ,获得积分10
1秒前
Edgar完成签到,获得积分10
1秒前
1秒前
1秒前
Yuenna发布了新的文献求助10
1秒前
球球发布了新的文献求助10
1秒前
茧茧发布了新的文献求助10
1秒前
科研通AI6.2的应助被罗鑫采纳,获得10
1秒前
蓝天的应助被研友_ndvmV8采纳,获得10
1秒前
1秒前
小马甲的应助被摸鱼大王采纳,获得10
2秒前
jr完成签到,获得积分20
2秒前
小葱头完成签到,获得积分0
2秒前
3秒前
wuly发布了新的文献求助10
3秒前
3秒前
科目三的应助被073采纳,获得10
3秒前
3秒前
YoRHac完成签到,获得积分10
3秒前
炸鱼排完成签到,获得积分10
4秒前
skoal发布了新的文献求助10
4秒前
Echo完成签到 ,获得积分10
5秒前
yang完成签到,获得积分10
6秒前
大方铃铛完成签到,获得积分10
6秒前
斯文败类的应助被1mo采纳,获得30
6秒前
6秒前
Jun的应助被初景采纳,获得10
6秒前
ZZICU发布了新的文献求助20
6秒前
Murray发布了新的文献求助10
7秒前
活泼的筝发布了新的文献求助30
7秒前
Viper完成签到,获得积分10
7秒前
7秒前
8秒前
8秒前
8秒前
小葱头发布了新的文献求助30
8秒前
8秒前
大方铃铛发布了新的文献求助10
9秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8161403
求助须知:如何正确求助?哪些是违规求助? 9556121
关于积分的说明 21732327
捐赠科研通 7751529
什么是DOI,文献DOI怎么找? 3427556
关于科研通互助平台的介绍 2552588
邀请新用户注册赠送积分活动 2471994