Watch and Match: Supercharging Imitation with Regularized Optimal Transport

水准点(测量) 计算机科学 强化学习 一套 人工智能 模仿 匹配(统计) 弹道 机器学习 机器人学 集合(抽象数据类型) 机器人 数学 程序设计语言 天文 考古 地理 物理 统计 历史 社会心理学 心理学 大地测量学
作者
Siddhant Haldar,Vaibhav Mathur,Denis Yarats,Lerrel Pinto
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:8
标识
DOI:10.48550/arxiv.2206.15469
摘要

Imitation learning holds tremendous promise in learning policies efficiently for complex decision making problems. Current state-of-the-art algorithms often use inverse reinforcement learning (IRL), where given a set of expert demonstrations, an agent alternatively infers a reward function and the associated optimal policy. However, such IRL approaches often require substantial online interactions for complex control problems. In this work, we present Regularized Optimal Transport (ROT), a new imitation learning algorithm that builds on recent advances in optimal transport based trajectory-matching. Our key technical insight is that adaptively combining trajectory-matching rewards with behavior cloning can significantly accelerate imitation even with only a few demonstrations. Our experiments on 20 visual control tasks across the DeepMind Control Suite, the OpenAI Robotics Suite, and the Meta-World Benchmark demonstrate an average of 7.8X faster imitation to reach 90% of expert performance compared to prior state-of-the-art methods. On real-world robotic manipulation, with just one demonstration and an hour of online training, ROT achieves an average success rate of 90.1% across 14 tasks.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
2秒前
华仔的应助被vary采纳,获得10
3秒前
3秒前
3秒前
asdf完成签到,获得积分10
3秒前
4秒前
MHY完成签到,获得积分10
5秒前
5秒前
杨金瀑发布了新的文献求助10
6秒前
dc123456发布了新的文献求助20
6秒前
科研通AI6.2的应助被fly圈圈呀采纳,获得10
7秒前
CheeseD发布了新的文献求助10
9秒前
EFIL发布了新的文献求助10
9秒前
vary完成签到,获得积分20
9秒前
小玲子发布了新的文献求助10
9秒前
Nole的应助被大气幻柏采纳,获得10
9秒前
11秒前
乞明完成签到 ,获得积分10
13秒前
贾贡献的应助被赵玉珊采纳,获得10
13秒前
Orange的应助被危机的小蚂蚁采纳,获得10
13秒前
奥罗拉睡不醒完成签到,获得积分10
14秒前
14秒前
可爱的函函的应助被jing采纳,获得10
14秒前
搜集达人的应助被小玲子采纳,获得10
15秒前
Nole的应助被ttchen采纳,获得10
15秒前
七分完成签到,获得积分10
16秒前
16秒前
小青完成签到,获得积分10
17秒前
haifeng完成签到,获得积分10
17秒前
领导范儿的应助被8787采纳,获得10
17秒前
dc123456发布了新的文献求助10
17秒前
18秒前
18秒前
山山而川完成签到,获得积分10
19秒前
19秒前
得闲驳回了Eric的应助
21秒前
华仔的应助被GDragon采纳,获得10
22秒前
23秒前
十二发布了新的文献求助10
24秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8188380
求助须知:如何正确求助?哪些是违规求助? 9576202
关于积分的说明 21846057
捐赠科研通 7786438
什么是DOI,文献DOI怎么找? 3435307
关于科研通互助平台的介绍 2559604
邀请新用户注册赠送积分活动 2482312