亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整的填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Improving in-memory file system reading performance by fine-grained user-space cache mechanisms

计算机科学 隐藏物 缓存污染 缓存着色 页面缓存 智能缓存 缓存失效 缓存算法 缓存不经意算法 操作系统 分布式计算 并行计算 CPU缓存
作者
Rong Gu,Chongjie Li,Haipeng Dai,Yili Luo,Xiaolong Xu,Shaohua Wan,Yihua Huang
出处
期刊:Journal of Systems Architecture [Elsevier]
卷期号:115: 101994-101994 被引量:2
标识
DOI:10.1016/j.sysarc.2021.101994
摘要

Nowadays, as the memory capacity of servers become larger and larger, distributed in-memory file systems, which enable applications to interact with data at fast speed, have been widely used. However, the existing distributed in-memory file systems still face the problem of low data access performance in small data reading, which seriously reduce their usefulness in many important big data scenarios. In this paper, we analyze the factors that affect the performance of reading in-memory files and propose a two-layer user space cache management mechanism: in the first layer, we cache data packet references to reduce frequent page fault interruptions (packet-level cache); in the second layer, we cache and manage small file data units to avoid redundant inter-process communications (object-level cache). We further design a fine-grained caching model based on the submodular function optimization theory, for efficiently managing the variable-length cache units with partially overlapping fragments on the client side. Experimental results on synthetic and real-world workloads show that compared with the existing cutting-edge systems, the first level cache can double the reading performance on average, and the second level cache can improve random reading performance by more than 4 times. Our caching strategies also outperform the cutting-edge cache algorithms over 20% on hit ratio. Furthermore, the proposed client-side caching framework idea has been adopted by the Alluxio open source community, which shows the practical benefits of this work. • A packet-level cache policy for reducing page faults during sequential data reading. • An in-memory cache layer to cache the variable-length hot file fragments. • Proved that the variable-length cache problem is a submodular optimization problem theoretically. • Comprehensive performance evaluation of the client-side cache strategies.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
Flexy发布了新的文献求助10
10秒前
17秒前
执着的草丛完成签到,获得积分10
25秒前
白云朵儿发布了新的文献求助10
1分钟前
1分钟前
嘎嘎好使完成签到 ,获得积分10
1分钟前
畅畅完成签到,获得积分10
1分钟前
JC完成签到 ,获得积分10
1分钟前
还在考虑完成签到,获得积分10
2分钟前
孤独蘑菇完成签到 ,获得积分10
2分钟前
rocky15应助py999采纳,获得10
2分钟前
rocky15应助slzyycy采纳,获得10
3分钟前
乐乐应助Huang采纳,获得10
3分钟前
可爱的函函应助parpate采纳,获得10
3分钟前
慕青应助Wei采纳,获得10
3分钟前
3分钟前
Huang发布了新的文献求助10
3分钟前
4分钟前
白云朵儿发布了新的文献求助10
4分钟前
薯片呀完成签到 ,获得积分10
4分钟前
从容松弛完成签到 ,获得积分10
5分钟前
隐形曼青应助丁染采纳,获得10
6分钟前
6分钟前
py999驳回了rocky15应助
6分钟前
tcklikai发布了新的文献求助10
6分钟前
丁染完成签到,获得积分10
6分钟前
6分钟前
丁染发布了新的文献求助10
6分钟前
7分钟前
白云朵儿发布了新的文献求助10
7分钟前
7分钟前
ykcul完成签到 ,获得积分10
7分钟前
小二郎应助ykcul采纳,获得10
7分钟前
rocky15给py999的求助进行了留言
8分钟前
8分钟前
pp‘s完成签到 ,获得积分10
8分钟前
slzyycy完成签到,获得积分20
8分钟前
slzyycy发布了新的文献求助10
8分钟前
zxt12305313完成签到 ,获得积分10
8分钟前
科研通AI2S应助Huang采纳,获得10
9分钟前
高分求助中
Un calendrier babylonien des travaux, des signes et des mois: Séries iqqur îpuš 1036
Sustainable Land Management: Strategies to Cope with the Marginalisation of Agriculture 1000
Corrosion and Oxygen Control 600
Heterocyclic Stilbene and Bibenzyl Derivatives in Liverworts: Distribution, Structures, Total Synthesis and Biological Activity 500
重庆市新能源汽车产业大数据招商指南(两链两图两池两库两平台两清单两报告) 400
Division and square root. Digit-recurrence algorithms and implementations 400
行動データの計算論モデリング 強化学習モデルを例として 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 有机化学 工程类 生物化学 纳米技术 物理 内科学 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 电极 光电子学 量子力学
热门帖子
关注 科研通微信公众号,转发送积分 2545572
求助须知:如何正确求助?哪些是违规求助? 2175642
关于积分的说明 5600185
捐赠科研通 1896368
什么是DOI,文献DOI怎么找? 946248
版权声明 565371
科研通“疑难数据库(出版商)”最低求助积分说明 503557