Learning Robot Manipulation Skills From Human Demonstration Videos Using Two-Stream 2-D/3-D Residual Networks With Self-Attention

计算机科学 机器人 任务(项目管理) 人工智能 脚本语言 人机交互 集合(抽象数据类型) 语义学(计算机科学) 一般化 动作(物理) 程序设计语言 数学分析 物理 量子力学 经济 数学 管理
作者
Xin Xu,Kun Qian,Xingshuo Jing,Wei Song
出处
期刊:IEEE Transactions on Cognitive and Developmental Systems [Institute of Electrical and Electronics Engineers]
卷期号:15 (3): 1000-1011 被引量:9
标识
DOI:10.1109/tcds.2022.3182877
摘要

Learning manipulation skills from observing human demonstration video is a promising aspect for intelligent robotic systems. Recent advances in Video-to-Command (V2C) provide an end-to-end approach to translate a video into robot plans. However, simultaneous V2C and action segmentation remain a major challenge for bimanual manipulations with fine-grained actions. Another concern is the generalization capability of end-to-end approaches in dealing with varied task parameters as well as environmental changes between the learned skills and the one-shot task demonstration for the robot to replay. In this article, we propose a two-stream network for robots to learn and segment manipulation subactions from human demonstration videos. Our framework with the self-attention mechanism can segment learned skills and generate action commands simultaneously. To arrive at refined plans in situations of underspecified or redundant human demonstrations, we utilize PDDL-based skill scripts to model the semantics of demonstrated activities and infer latent movements. Experimental results on the extended manipulation data set indicate that our approach generates more accurate commands than the state-of-the-art methods. Real-world experiment results on a Baxter robotic arm also demonstrated the feasibility of our method in reproducing fine-grained actions from video demonstrations.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
zougen发布了新的文献求助10
刚刚
许ZY完成签到,获得积分10
刚刚
刚刚
luo的应助被嘻嘻采纳,获得10
刚刚
dafo完成签到,获得积分10
1秒前
冷静又槐完成签到,获得积分10
1秒前
天天向上的应助被懒鱼采纳,获得10
1秒前
杨杨完成签到,获得积分10
1秒前
yaya完成签到 ,获得积分20
1秒前
向阳发布了新的文献求助10
1秒前
科目三的应助被敏感的鼠标采纳,获得10
1秒前
王粒伊完成签到,获得积分10
2秒前
daomaihu发布了新的文献求助100
2秒前
2秒前
辛勤便当完成签到 ,获得积分10
3秒前
科研肺物发布了新的文献求助10
3秒前
大宝蛋白发布了新的文献求助10
3秒前
Messy完成签到,获得积分10
3秒前
总是如此完成签到,获得积分10
3秒前
上官若男的应助被辛勤的梦菲采纳,获得10
3秒前
甜甜寄凡完成签到 ,获得积分10
4秒前
4秒前
Cheng完成签到,获得积分20
5秒前
tt完成签到 ,获得积分10
5秒前
mldzyx完成签到 ,获得积分10
6秒前
就爱喝醋完成签到,获得积分10
7秒前
vic完成签到,获得积分10
7秒前
7秒前
Amosummer完成签到,获得积分10
7秒前
Rufina0720发布了新的文献求助10
7秒前
季风气候发布了新的文献求助10
8秒前
8秒前
yijian完成签到,获得积分10
8秒前
leee完成签到,获得积分10
8秒前
和谐白云完成签到,获得积分10
8秒前
祁嘉的应助被LV采纳,获得30
10秒前
李博完成签到,获得积分10
10秒前
等等发布了新的文献求助20
10秒前
风中松鼠发布了新的文献求助10
10秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology)求助 1000
Encyclopedia of Modern Artificial Intelligence 1000
John McDowells Bildungstheorie 800
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
Synthesis, Application and Future Perspectives of Smart Nano-materials - Part 1 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8153442
求助须知:如何正确求助?哪些是违规求助? 9550127
关于积分的说明 21696715
捐赠科研通 7741908
什么是DOI,文献DOI怎么找? 3425483
关于科研通互助平台的介绍 2550608
邀请新用户注册赠送积分活动 2469152