清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整的填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Improving in-memory file system reading performance by fine-grained user-space cache mechanisms

计算机科学 隐藏物 缓存污染 缓存着色 页面缓存 智能缓存 缓存失效 缓存算法 缓存不经意算法 操作系统 分布式计算 并行计算 CPU缓存
作者
Rong Gu,Chongjie Li,Haipeng Dai,Yili Luo,Xiaolong Xu,Shaohua Wan,Yihua Huang
出处
期刊:Journal of Systems Architecture [Elsevier]
卷期号:115: 101994-101994 被引量:2
标识
DOI:10.1016/j.sysarc.2021.101994
摘要

Nowadays, as the memory capacity of servers become larger and larger, distributed in-memory file systems, which enable applications to interact with data at fast speed, have been widely used. However, the existing distributed in-memory file systems still face the problem of low data access performance in small data reading, which seriously reduce their usefulness in many important big data scenarios. In this paper, we analyze the factors that affect the performance of reading in-memory files and propose a two-layer user space cache management mechanism: in the first layer, we cache data packet references to reduce frequent page fault interruptions (packet-level cache); in the second layer, we cache and manage small file data units to avoid redundant inter-process communications (object-level cache). We further design a fine-grained caching model based on the submodular function optimization theory, for efficiently managing the variable-length cache units with partially overlapping fragments on the client side. Experimental results on synthetic and real-world workloads show that compared with the existing cutting-edge systems, the first level cache can double the reading performance on average, and the second level cache can improve random reading performance by more than 4 times. Our caching strategies also outperform the cutting-edge cache algorithms over 20% on hit ratio. Furthermore, the proposed client-side caching framework idea has been adopted by the Alluxio open source community, which shows the practical benefits of this work. • A packet-level cache policy for reducing page faults during sequential data reading. • An in-memory cache layer to cache the variable-length hot file fragments. • Proved that the variable-length cache problem is a submodular optimization problem theoretically. • Comprehensive performance evaluation of the client-side cache strategies.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
上善若水完成签到 ,获得积分10
2秒前
15秒前
武雨寒发布了新的文献求助10
21秒前
juan完成签到 ,获得积分10
51秒前
微笑芒果完成签到 ,获得积分10
1分钟前
1分钟前
慕青应助科研通管家采纳,获得10
2分钟前
3分钟前
悦悦完成签到,获得积分10
3分钟前
even完成签到 ,获得积分10
4分钟前
liguanyu1078完成签到,获得积分10
4分钟前
捉迷藏应助科研通管家采纳,获得10
4分钟前
沉沉完成签到 ,获得积分0
4分钟前
河豚发布了新的文献求助10
4分钟前
拓跋雨梅完成签到 ,获得积分0
5分钟前
XQL完成签到 ,获得积分10
5分钟前
6分钟前
滕皓轩完成签到 ,获得积分10
6分钟前
WXM完成签到 ,获得积分10
7分钟前
8分钟前
清净126完成签到 ,获得积分10
9分钟前
老宇126完成签到,获得积分10
10分钟前
应夏山完成签到 ,获得积分10
10分钟前
清净163完成签到,获得积分10
10分钟前
觀海聴濤完成签到 ,获得积分10
10分钟前
紫熊完成签到,获得积分10
11分钟前
巫巫巫巫巫完成签到 ,获得积分10
12分钟前
娟儿完成签到 ,获得积分10
13分钟前
Robin95完成签到 ,获得积分10
13分钟前
和谐的夏岚完成签到 ,获得积分10
13分钟前
菲菲完成签到 ,获得积分10
15分钟前
lili发布了新的文献求助10
15分钟前
草帽女孩完成签到 ,获得积分10
15分钟前
imi完成签到 ,获得积分10
16分钟前
lili完成签到,获得积分10
16分钟前
aniu完成签到 ,获得积分10
17分钟前
amar完成签到 ,获得积分10
17分钟前
naczx完成签到,获得积分10
18分钟前
正直的宛秋完成签到 ,获得积分10
20分钟前
稻子完成签到 ,获得积分10
20分钟前
高分求助中
Un calendrier babylonien des travaux, des signes et des mois: Séries iqqur îpuš 1036
Sustainable Land Management: Strategies to Cope with the Marginalisation of Agriculture 1000
Corrosion and Oxygen Control 600
Python Programming for Linguistics and Digital Humanities: Applications for Text-Focused Fields 500
Heterocyclic Stilbene and Bibenzyl Derivatives in Liverworts: Distribution, Structures, Total Synthesis and Biological Activity 500
重庆市新能源汽车产业大数据招商指南(两链两图两池两库两平台两清单两报告) 400
Division and square root. Digit-recurrence algorithms and implementations 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 有机化学 工程类 生物化学 纳米技术 物理 内科学 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 电极 光电子学 量子力学
热门帖子
关注 科研通微信公众号,转发送积分 2545822
求助须知:如何正确求助?哪些是违规求助? 2175672
关于积分的说明 5600226
捐赠科研通 1896383
什么是DOI,文献DOI怎么找? 946268
版权声明 565379
科研通“疑难数据库(出版商)”最低求助积分说明 503557