Uncertainty Representations in State-Space Layers for Deep Reinforcement Learning under Partial Observability

可观测性 强化学习 状态空间 空格(标点符号) 国家(计算机科学) 钢筋 人工智能 计算机科学 数学 应用数学 算法 心理学 社会心理学 统计 操作系统
作者
Carlos E. Luis,Alessandro G. Bottero,Julia Vinogradska,Felix Berkenkamp,Jan Peters
出处
期刊:Cornell University - arXiv [Cornell University]
标识
DOI:10.48550/arxiv.2409.16824
摘要

Optimal decision-making under partial observability requires reasoning about the uncertainty of the environment's hidden state. However, most reinforcement learning architectures handle partial observability with sequence models that have no internal mechanism to incorporate uncertainty in their hidden state representation, such as recurrent neural networks, deterministic state-space models and transformers. Inspired by advances in probabilistic world models for reinforcement learning, we propose a standalone Kalman filter layer that performs closed-form Gaussian inference in linear state-space models and train it end-to-end within a model-free architecture to maximize returns. Similar to efficient linear recurrent layers, the Kalman filter layer processes sequential data using a parallel scan, which scales logarithmically with the sequence length. By design, Kalman filter layers are a drop-in replacement for other recurrent layers in standard model-free architectures, but importantly they include an explicit mechanism for probabilistic filtering of the latent state representation. Experiments in a wide variety of tasks with partial observability show that Kalman filter layers excel in problems where uncertainty reasoning is key for decision-making, outperforming other stateful models.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
园长完成签到 ,获得积分10
刚刚
cc完成签到,获得积分10
刚刚
1秒前
1秒前
milv5发布了新的文献求助10
1秒前
安第斯鼠属完成签到,获得积分10
1秒前
Akim的应助被Moon采纳,获得10
1秒前
GuoPLess关注了科研通微信公众号
1秒前
2秒前
李健的应助被无辜羊采纳,获得10
2秒前
刘山雨发布了新的文献求助10
2秒前
乐子发布了新的文献求助10
2秒前
3秒前
zq发布了新的文献求助30
3秒前
英姑的应助被chen采纳,获得10
3秒前
3秒前
Akim的应助被xiaoxiao采纳,获得10
4秒前
4秒前
DW的应助被胡萝卜卜采纳,获得10
4秒前
qc完成签到 ,获得积分10
4秒前
SciGPT的应助被Joshua采纳,获得10
4秒前
4秒前
淡然又菡发布了新的文献求助10
5秒前
闪闪的灵发布了新的文献求助10
5秒前
5秒前
小猪发布了新的文献求助30
5秒前
Jiang完成签到,获得积分10
5秒前
6秒前
蓝天的应助被1vvvv采纳,获得10
6秒前
忐忑的惜寒完成签到,获得积分10
6秒前
6秒前
寄雨云中梦完成签到,获得积分10
6秒前
6秒前
6秒前
6秒前
DW的应助被冯梦梦采纳,获得10
6秒前
隐形曼青的应助被zc采纳,获得10
7秒前
故意的驳完成签到,获得积分10
7秒前
SciGPT的应助被yongqi采纳,获得10
7秒前
hhhh发布了新的文献求助10
7秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8162816
求助须知:如何正确求助?哪些是违规求助? 9557103
关于积分的说明 21738393
捐赠科研通 7753330
什么是DOI,文献DOI怎么找? 3427963
关于科研通互助平台的介绍 2552742
邀请新用户注册赠送积分活动 2472556