亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

A Primal-Dual Approach to Constrained Markov Decision Processes with Applications to Queue Scheduling and Inventory Management

计算机科学 马尔可夫决策过程 对偶(语法数字) 数学优化 调度(生产过程) 运筹学 排队 马尔可夫链 马尔可夫过程 数学 机器学习 计算机网络 统计 艺术 文学类
作者
Yi Chen,Jing Dong,Zhaoran Wang,Chuheng Zhang
出处
期刊:Management Science [Institute for Operations Research and the Management Sciences]
卷期号:72 (2): 955-988 被引量:3
标识
DOI:10.1287/mnsc.2022.03736
摘要

In many operations management problems, we need to make decisions sequentially to minimize the cost, satisfying certain constraints. One modeling approach to such problems is the constrained Markov decision process (CMDP). In this work, we develop a data-driven primal-dual algorithm to solve CMDPs. Our approach alternatively applies regularized policy iteration to improve the policy and subgradient ascent to maintain the constraints. Under mild regularity conditions, we show that the algorithm converges at rate [Formula: see text], where T is the number of iterations, for both the discounted and long-run average cost formulations. Our algorithm can be easily combined with advanced deep learning techniques to deal with complex large-scale problems with the additional benefit of straightforward convergence analysis. When the CMDP has a weakly coupled structure, our approach can further reduce the computational complexity through an embedded decomposition. We apply the algorithm to two operations management problems: multiclass queue scheduling and multiproduct inventory management. Numerical experiments demonstrate that our algorithm, when combined with appropriate value function approximations, generates policies that achieve superior performance compared with state-of-the-art heuristics. This paper was accepted by Baris Ata, stochastic models and simulation. Funding: Y. Chen was supported by the Hong Kong Research Grants Council, Early Career Scheme Fund [Grant 26508924], and partially supported by a grant from the National Natural Science Foundation of China [Grant 72495125]. J. Dong was supported by the National Science Foundation [Grant 1944209]. Supplemental Material: The data files are available at https://doi.org/10.1287/mnsc.2022.03736 .
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
隐形曼青的应助被11kk采纳,获得10
8秒前
和谐的山水完成签到,获得积分10
10秒前
高兴的碧萱完成签到,获得积分10
23秒前
拉长的傲珊完成签到,获得积分10
26秒前
null的应助被科研通管家采纳,获得10
34秒前
优雅的树叶完成签到,获得积分10
46秒前
清爽的孤丝完成签到,获得积分10
53秒前
wheat完成签到,获得积分10
1分钟前
1分钟前
没毛的鱼发布了新的文献求助10
1分钟前
研友_VZG7GZ的应助被白奕采纳,获得10
1分钟前
水北完成签到,获得积分10
1分钟前
狂野的御姐完成签到,获得积分10
1分钟前
原子超人完成签到,获得积分10
1分钟前
yinh完成签到 ,获得积分10
1分钟前
支雨泽完成签到,获得积分10
1分钟前
传统完成签到,获得积分10
1分钟前
丸总发布了新的文献求助10
1分钟前
1分钟前
大力的美女完成签到,获得积分10
1分钟前
科研通AI6.4的应助被u766482采纳,获得30
2分钟前
BaconDan完成签到,获得积分10
2分钟前
碧蓝问玉完成签到,获得积分10
2分钟前
乐观的水瑶完成签到,获得积分10
2分钟前
NexusExplorer的应助被u516929采纳,获得30
3分钟前
3分钟前
2589发布了新的文献求助10
3分钟前
科研通AI6.2的应助被wxy小白鼠采纳,获得10
3分钟前
敏感天曼完成签到,获得积分10
3分钟前
ddl30完成签到,获得积分10
3分钟前
阔达的沛岚完成签到,获得积分10
3分钟前
丸总完成签到,获得积分10
3分钟前
江渕完成签到,获得积分10
3分钟前
3分钟前
CodeCraft的应助被丸总采纳,获得10
3分钟前
3分钟前
u583484发布了新的文献求助30
4分钟前
健忘香彤完成签到,获得积分10
4分钟前
u501249发布了新的文献求助30
4分钟前
畅快的夜云完成签到,获得积分10
4分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8185196
求助须知:如何正确求助?哪些是违规求助? 9574060
关于积分的说明 21834179
捐赠科研通 7782698
什么是DOI,文献DOI怎么找? 3434531
关于科研通互助平台的介绍 2558786
邀请新用户注册赠送积分活动 2481218