一种基于日志写的读缓存方法和系统技术方案

技术编号:40026929 阅读:18 留言:0更新日期:2024-01-16 17:38
本发明专利技术涉及缓存读取技术领域,提供一种基于日志写的读缓存方法和系统,本发明专利技术的方法包括:通过逻辑分片将用户的数据日志写到数据硬盘池中;在将数据日志写到数据硬盘池时,缓存所述数据并创建数据索引;根据数据索引从数据硬盘池中读取对应的数据;记录缓存元数据,在读取缓存进程发生故障时,通过记录的缓存元数据恢复缓存读取。本发明专利技术基于日志写的读缓存方法和系统,可以提高读缓存的效率和安全性。

【技术实现步骤摘要】

本专利技术涉及缓存读取,尤其涉及一种基于日志写的读缓存方法和系统


技术介绍

1、hdd盘读写性能慢,特别是在随机读写时,由于机械臂的往复摆动,性能更低。因此在使用hdd盘组件的存储集群中,通常都会使用ssd盘作为加速盘。一方面,需要先将数据写入到ssd盘后返回后台,后台再将数据大块地写到hdd盘上,以达到加速存储写速度的目的。另一方面,对于频繁读取的数据,则需要将数据写入到ssd缓存盘中,然后直接从ssd盘中读取到数据。

2、在实际应用中,将频繁读取的数据缓存到ssd盘的技术,需要考虑到数据被读取到缓存中后又被修改的情况,比如,在写数据时判断数据是否在缓存中,如果在缓存中,就同时修改缓存数据的方式;或者在读数据时,先从写缓存中读取,当从写缓存读取不到数据时,再读主存。这些处理流程较为复杂,不仅会读取的效率影响,还增加了出现数据不一致的风险。

3、因此,如何提供一种更加高效和安全的读缓存的方法,成为亟待解决的技术问题。


技术实现思路

1、有鉴于此,为了克服现有技术的不足,本专利技术旨在本文档来自技高网...

【技术保护点】

1.一种基于日志写的读缓存方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于日志写的读缓存方法,其特征在于,通过逻辑分片将用户的数据日志写到数据硬盘池中,包括:从客户端获取用户的数据,根据用户的逻辑地址空间将获取的数据打散到逻辑分片上,逻辑分片从数据硬盘池中分配空间,将逻辑分片上的数据以日志的形式追加写到数据硬盘池对应的空间中。

3.根据权利要求1所述的基于日志写的读缓存方法,其特征在于,在将数据日志写到数据硬盘池时,缓存所述数据并创建数据索引,包括:

4.根据权利要求3所述的基于日志写的读缓存方法,其特征在于,将数据以键值对的形式缓存在逻...

【技术特征摘要】

1.一种基于日志写的读缓存方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于日志写的读缓存方法,其特征在于,通过逻辑分片将用户的数据日志写到数据硬盘池中,包括:从客户端获取用户的数据,根据用户的逻辑地址空间将获取的数据打散到逻辑分片上,逻辑分片从数据硬盘池中分配空间,将逻辑分片上的数据以日志的形式追加写到数据硬盘池对应的空间中。

3.根据权利要求1所述的基于日志写的读缓存方法,其特征在于,在将数据日志写到数据硬盘池时,缓存所述数据并创建数据索引,包括:

4.根据权利要求3所述的基于日志写的读缓存方法,其特征在于,将数据以键值对的形式缓存在逻辑分片所在节点本地,根据缓数据的键值对在内存中构建缓存hash表,包括:以数据的日志写地址作为键,以数据作为值,将数据缓存在在逻辑分片所在节点本地,根据缓存数据的键值对在内存中构建缓存hash表。

5.根据权利要求3所述的基于日志写的读缓存方法,其特征在于,缓存所述数据并创建数据索引,包括:将日志写的对象名和偏移作为数据的键,将所述数据的键记录在内存中创建的数据索引中,将所述数据的键指向对应的缓存数据。

6.根据权利要求1所述的基于日志写的读...

【专利技术属性】
技术研发人员:余攀
申请(专利权)人:中电云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1