亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Generative Adversarial Self-Imitation Learning With Large Language Model Feedback for Robot Control and Navigation

计算机科学 对抗制 人工智能 机器人 控制(管理) 生成语法 机器人学 移动机器人 语言理解 计算机视觉 机器人控制 生成模型 自然语言 机器人学习 人机交互 弹道 语义学(计算机科学) 控制系统 机器人运动学 移动机器人导航 人机交互 社交机器人 遥控机器人学 语言模型 自然语言处理 反馈控制 控制工程 运动规划
作者
Ke Zhang,Zheng Fang,Enqi Zhao,Zicheng Sun,Jianwu Fang,Jie Huang,Eric Nichols,Randy Gómez,Bo He,Jianru Xue,Guangliang Li
出处
期刊:IEEE Transactions on Robotics [Institute of Electrical and Electronics Engineers]
卷期号:42: 2877-2897
标识
DOI:10.1109/tro.2026.3710412
摘要

Deep reinforcement learning (DRL) has achieved great success in many simulated and real-world robotic tasks. However, the difficulty of designing efficient and dense reward functions makes applying DRL to tackle complex long-horizon and open-world tasks a great challenge. Generative adversarial imitation learning (GAIL) can directly learn policies from the expert trajectories and generalize well in large and complex environments, but relies on high-quality demonstrations and can seldom surpass the performance of the demonstration. Recent work used additional human evaluative feedback to facilitate GAIL to learn faster and surpass the demonstrations, but still requires suboptimal demonstrations. Moreover, it is costly and difficult for human expert to provide relatively high-quality demonstrations and evaluative feedback for various tasks. To address the above issues, in this article, we propose generative adversarial self-imitation learning from demonstration and large language model (LLM) feedback (GASL$^{3}$MF), since LLMs encode rich commonsense knowledge and can perform a variety of reasoning tasks. GASL$^{3}$MF allows a robot to learn from poor demonstrations and gradually replace them with its own good trajectories evaluated by LLM feedback. Our results in four physics-based control tasks and a mobile robot navigation task show that, even with demonstrations of poor performance or not completing the task, GASL$^{3}$MF can learn faster with close to optimal performance, and generalize well to different environments and the real world with sim-to-real adaptation. Further analysis shows that the overall distribution of LLM feedback closely resembles that of human feedback and remains closer to that of ground-truth rewards than human feedback. Finally, our GASL$^{3}$MF method works regardless of the LLM employed, and the LLM feedback from different LLMs remain robust across tasks and even better consistency than human feedback for robot learning in some tasks. These results shed light on the potential of robot imitation learning from even poor or failed demonstrations and broaden its application to a wide range of real-world tasks.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
敬业乐群完成签到,获得积分10
刚刚
陈龙完成签到,获得积分10
5秒前
aa完成签到,获得积分10
9秒前
LSQ完成签到,获得积分10
16秒前
22秒前
foden完成签到,获得积分10
23秒前
xinran完成签到,获得积分10
28秒前
温暖的帆布鞋完成签到,获得积分10
31秒前
yli130完成签到,获得积分10
32秒前
32秒前
38秒前
Sarahminn发布了新的文献求助10
39秒前
41秒前
俏皮的灵发布了新的文献求助10
42秒前
机灵的沂完成签到,获得积分10
54秒前
奔跑的应助被虚心的灵寒采纳,获得10
55秒前
奔跑的应助被虚心的灵寒采纳,获得10
55秒前
欢呼的兰完成签到,获得积分10
58秒前
华仔的应助被lmn采纳,获得10
1分钟前
酒酿是也完成签到 ,获得积分10
1分钟前
满意的楷瑞完成签到,获得积分10
1分钟前
顺利的水瑶完成签到 ,获得积分10
1分钟前
1分钟前
我是老大的应助被科研通管家采纳,获得10
1分钟前
彭于晏的应助被科研通管家采纳,获得10
1分钟前
1分钟前
1分钟前
慕青的应助被肖可声采纳,获得10
1分钟前
田様的应助被重要白亦采纳,获得10
1分钟前
科研通AI6.2的应助被Jeff采纳,获得20
1分钟前
科研通AI6.3的应助被Jeff采纳,获得50
1分钟前
烟花的应助被俏皮的灵采纳,获得10
1分钟前
lmn发布了新的文献求助10
1分钟前
1分钟前
Maestro_S的应助被Kaikai采纳,获得10
1分钟前
1分钟前
肖可声完成签到,获得积分10
1分钟前
mino完成签到 ,获得积分10
1分钟前
1分钟前
肖可声发布了新的文献求助10
1分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8172954
求助须知:如何正确求助?哪些是违规求助? 9565447
关于积分的说明 21780029
捐赠科研通 7764817
什么是DOI,文献DOI怎么找? 3431496
关于科研通互助平台的介绍 2555519
邀请新用户注册赠送积分活动 2476571