Overcoming Exploration in Reinforcement Learning with Demonstrations

强化学习 计算机科学 事后诸葛亮 人工智能 任务(项目管理) 维数之咒 机器人学 集合(抽象数据类型) 加速 机器人 功能(生物学) 机器学习 简单(哲学) 工程类 操作系统 哲学 认识论 生物 认知心理学 程序设计语言 系统工程 进化生物学 心理学
作者
Ashvin Nair,Bob McGrew,Marcin Andrychowicz,Wojciech Zaremba,Pieter Abbeel
标识
DOI:10.1109/icra.2018.8463162
摘要

Exploration in environments with sparse rewards has been a persistent problem in reinforcement learning (RL). Many tasks are natural to specify with a sparse reward, and manually shaping a reward function can result in suboptimal performance. However, finding a non-zero reward is exponentially more difficult with increasing task horizon or action dimensionality. This puts many real-world tasks out of practical reach of RL methods. In this work, we use demonstrations to overcome the exploration problem and successfully learn to perform long-horizon, multi-step robotics tasks with continuous control such as stacking blocks with a robot arm. Our method, which builds on top of Deep Deterministic Policy Gradients and Hindsight Experience Replay, provides an order of magnitude of speedup over RL on simulated robotics tasks. It is simple to implement and makes only the additional assumption that we can collect a small set of demonstrations. Furthermore, our method is able to solve tasks not solvable by either RL or behavior cloning alone, and often ends up outperforming the demonstrator policy.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
云淡风轻发布了新的文献求助10
1秒前
微笑听芹完成签到,获得积分10
2秒前
4秒前
无花果的应助被steplight采纳,获得10
5秒前
领导范儿的应助被steplight采纳,获得10
5秒前
万能图书馆的应助被steplight采纳,获得10
5秒前
今后的应助被steplight采纳,获得10
6秒前
温暖的以筠完成签到,获得积分20
6秒前
6秒前
已巳己完成签到,获得积分10
7秒前
chen555完成签到,获得积分10
8秒前
K. G.完成签到,获得积分10
8秒前
8秒前
9秒前
9秒前
11秒前
Redinn完成签到,获得积分10
11秒前
11秒前
万重山完成签到 ,获得积分10
11秒前
顾矜的应助被薛定谔的猫采纳,获得10
11秒前
lius完成签到,获得积分10
13秒前
Akim的应助被steplight采纳,获得10
13秒前
情怀的应助被steplight采纳,获得10
13秒前
李健的应助被steplight采纳,获得10
13秒前
rongliy发布了新的文献求助10
13秒前
打打的应助被steplight采纳,获得10
13秒前
斯文败类的应助被steplight采纳,获得10
14秒前
爆米花的应助被steplight采纳,获得10
14秒前
大个的应助被steplight采纳,获得10
14秒前
14秒前
Ava的应助被steplight采纳,获得10
14秒前
科目三的应助被steplight采纳,获得10
14秒前
在水一方的应助被steplight采纳,获得10
14秒前
糊糊完成签到,获得积分10
14秒前
15秒前
15秒前
15秒前
flying发布了新的文献求助60
17秒前
sleep完成签到,获得积分10
17秒前
18秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8188353
求助须知:如何正确求助?哪些是违规求助? 9576169
关于积分的说明 21845860
捐赠科研通 7786410
什么是DOI,文献DOI怎么找? 3435292
关于科研通互助平台的介绍 2559588
邀请新用户注册赠送积分活动 2482235