HPCsim: A High-Level Simulation and Workload Data Schema Framework for HPC Workload Management Research

计算机科学 工作量 调度(生产过程) 作业调度程序 分布式计算 模块化设计 超级计算机 数据管理 模式(遗传算法) 操作系统 数据建模 动态优先级调度 大数据 建筑 数据结构 重新使用 数据库管理员 实时计算 软件工程 任务分析 计算机集群
作者
Lingfei Wang,Maria Alejandra Rodriguez,Nir Lipovetzky
出处
期刊:Conference proceedings [Institute of Electrical and Electronics Engineers]
卷期号:: 5314-5320 被引量:1
标识
DOI:10.1109/smc58881.2025.11342567
摘要

This paper presents HPCsim, a modular and extensible simulation framework designed to support research in High-Performance Computing workload management. HPCsim focuses on modeling the full scheduling cycle — including job submission, queuing, job selection, resource allocation, execution, and evaluation — using real traces and structured cluster metadata. Most of the existing simulation tools focus on low-level system behavior but lack the abstractions needed for HPC workload management research. They do not natively support multi-resource job models, batch queuing, or system-level scheduling policies. Moreover, their focus on low-level execution details, such as hardware timing, message passing, and architectural interactions, introduces significant computational overhead, making them inefficient for large-scale experiments in high-level workload management, especially in learning-based scheduling where rapid simulation and frequent policy updates are critical. The framework is built based on Slurm, one of the most widely deployed workload managers, and introduces a structured workload data schema encompassing job traces, node configurations, and switch-based topologies. HPCsim is fully compatible with Gymnasium, enabling integration with reinforcement learning workflows, while also supporting other scheduling strategies. We validate HPCsim through experiments using real traces from a GPU-accelerated HPC cluster and demonstrate its utility for comparing scheduling policies and visualizing topology-sensitive placement behavior. HPCsim is released as an open-source tool to facilitate reproducibility and accelerate research in HPC scheduling.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
THM666发布了新的文献求助10
1秒前
HZH完成签到 ,获得积分10
1秒前
1秒前
guts发布了新的文献求助10
3秒前
打打的应助被PPP采纳,获得10
3秒前
zyx发布了新的文献求助10
4秒前
younger完成签到,获得积分10
4秒前
4秒前
4秒前
HD完成签到,获得积分10
5秒前
李健的应助被爱而不得采纳,获得10
5秒前
整箱发布了新的文献求助10
6秒前
夙夙完成签到,获得积分10
7秒前
科目三的应助被嘿嘿采纳,获得10
7秒前
7秒前
8秒前
8秒前
小刘的应助被车水采纳,获得50
8秒前
夙夙发布了新的文献求助10
10秒前
Grin完成签到,获得积分10
10秒前
小余完成签到,获得积分10
10秒前
小貉发布了新的文献求助10
11秒前
顺利发布了新的文献求助10
12秒前
洁净山柏发布了新的文献求助10
14秒前
充电宝的应助被QLK采纳,获得10
14秒前
16秒前
万能图书馆的应助被顺利采纳,获得10
18秒前
19秒前
哈哈哈完成签到,获得积分10
19秒前
19秒前
钟美蒂的阴灵完成签到,获得积分10
19秒前
jiyi完成签到,获得积分10
20秒前
我爱吃菜完成签到 ,获得积分10
20秒前
21秒前
嘿嘿发布了新的文献求助10
23秒前
24秒前
PPP发布了新的文献求助10
24秒前
瞿霞完成签到 ,获得积分10
25秒前
25秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8188563
求助须知:如何正确求助?哪些是违规求助? 9576328
关于积分的说明 21846521
捐赠科研通 7786563
什么是DOI,文献DOI怎么找? 3435354
关于科研通互助平台的介绍 2559627
邀请新用户注册赠送积分活动 2482336