键值存储系统的数据处理方法和键值存储系统技术方案

技术编号:44205538 阅读:21 留言:0更新日期:2025-02-06 18:39
本申请涉及一种键值存储系统的数据处理方法和键值存储系统。键值存储系统包括计算节点、分布式日志服务和配置中心,分布式日志服务用于在各日志文件中存储数据,配置中心用于存储配置数据以及各日志文件的元数据;计算节点接收数据处理命令;对内存中存储的散列表数据结构、各日志文件中存储的数据、内存的缓存层中存储的缓存数据、配置数据以及元数据中的至少一项进行处理;散列表数据结构包括多对键和值,值为存储对应数据的日志信息。本方法基于分布式日志服务作为存储系统,无需高度依赖内存,大大提升数据容量的上限值。基于设计的散列表数据结构,保证数据的高可用性。实现计算与存储分离,提高资源的利用率,提升了计算的灵活性和效率。

【技术实现步骤摘要】

本申请涉及存储,特别是涉及一种键值存储系统的数据处理方法和键值存储系统


技术介绍

1、目前键值存储系统redis是一个高度依赖内存的键值存储方案,其运行数据全部放在内存上,存在明显的容量限制;并且其计算资源和存储资源绑定在一起,资源利用不灵活,限制了计算的灵活性和效率。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种键值存储系统的数据处理方法和键值存储系统,实现计算与存储分离,提高资源的利用率。

2、第一方面,本申请提供了一种键值存储系统的数据处理方法,键值存储系统包括计算节点、分布式日志服务和配置中心,分布式日志服务用于在各日志文件中存储数据,配置中心用于存储配置数据以及各日志文件的元数据;所述方法应用于计算节点中,包括:

3、接收数据处理命令;

4、基于数据处理命令,对内存中存储的散列表数据结构、各日志文件中存储的数据、内存的缓存层中存储的缓存数据、配置数据以及元数据中的至少一项进行处理;其中,散列表数据结构包括多对键和值,值为存储对应数据的日志信息。...

【技术保护点】

1.一种键值存储系统的数据处理方法,其特征在于,所述键值存储系统包括计算节点、分布式日志服务和配置中心,所述分布式日志服务用于在各日志文件中存储数据,所述配置中心用于存储配置数据以及各日志文件的元数据;所述方法应用于所述计算节点中,包括:

2.根据权利要求1所述的方法,其特征在于,所述数据处理命令包括访问数据命令;所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述数据处理命令包括写入数据命令;所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述数据处理命令包括删除命令;所述方法还包括:

5.根据权利要求1所述的方法...

【技术特征摘要】

1.一种键值存储系统的数据处理方法,其特征在于,所述键值存储系统包括计算节点、分布式日志服务和配置中心,所述分布式日志服务用于在各日志文件中存储数据,所述配置中心用于存储配置数据以及各日志文件的元数据;所述方法应用于所述计算节点中,包括:

2.根据权利要求1所述的方法,其特征在于,所述数据处理命令包括访问数据命令;所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述数据处理命令包括写入数据命令;所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述数据处理命令包括删除命令;所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

【专利技术属性】
技术研发人员:叶智伟
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1