一种键值对存储系统的处理方法和装置制造方法及图纸

技术编号:41787687 阅读:18 留言:0更新日期:2024-06-24 20:15
本发明专利技术实施例提供了一种键值对存储系统的处理方法和装置,应用于领域存储技术,包括:接收多个存储任务,并确定每个存储任务的任务属性信息;在共享内存池中建立针对每个存储任务的内存分区;根据任务属性信息,确定为每个内存分区分配的目标节点及目标节点中为内存分区分配的目标内存信息,得到每个内存分区的内存分区策略;对为内存分区分配的目标节点及目标节点中为内存分区分配的目标内存信息进行调整,得到调整后的内存分区策略;在调整后的内存分区策略下,确定共享内存池中节点的整体内存资源使用率;根据整体内存资源使用率,从所有的内存分区策略中确定目标内存分区策略,进行分区存储,实现键值对存储系统中数据进行分区存储。

【技术实现步骤摘要】

本专利技术涉及存储,特别是涉及键值对存储系统的处理方法和装置


技术介绍

1、在数据密集型应用场景中,大规模分布式异构计算系统需满足异构设备协同计算、服务器、加速卡内存独立扩展、多层混合介质内存共享、多种计算任务实时处理等需求。由于键值对存储数据库系统中的数据以键值对的形式组织,具有大数据量高性能、易扩展等特性,已逐渐成为主流的系统存储架构之一,被广泛部署在数据中心,为数据密集型应用提供服务。

2、然而,随着数据密集型应用对系统访问性能和容量越来越高的需求,键值对存储数据库系统的系统访问性能和容量等方面难以适应需求。


技术实现思路

1、鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种键值对存储系统的处理方法和装置,包括:

2、一种键值对存储系统的处理方法,所述键值对存储系统具有共享内存池,所述共享内存池由多个节点中的内存组成,每个节点具有多种类型的内存,所述方法包括:

3、接收多个存储任务,并确定每个存储任务的任务属性信息;>

4、在所述共本文档来自技高网...

【技术保护点】

1.一种键值对存储系统的处理方法,其特征在于,所述键值对存储系统具有共享内存池,所述共享内存池由多个节点中的内存组成,每个节点具有多种类型的内存,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述任务属性信息,确定为每个内存分区分配的目标节点及所述目标节点中为所述内存分区分配的目标内存信息,得到每个内存分区的内存分区策略,包括:

3.根据权利要求2所述的方法,其特征在于,所述内存分配约束条件包括每个存储任务的延迟约束条件和所述共享资源池中每种类型的内存的存储资源容量约束条件,在满足所述内存分配约束条件的基础上,根据所述任务属性信息,确定为每个内...

【技术特征摘要】

1.一种键值对存储系统的处理方法,其特征在于,所述键值对存储系统具有共享内存池,所述共享内存池由多个节点中的内存组成,每个节点具有多种类型的内存,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述任务属性信息,确定为每个内存分区分配的目标节点及所述目标节点中为所述内存分区分配的目标内存信息,得到每个内存分区的内存分区策略,包括:

3.根据权利要求2所述的方法,其特征在于,所述内存分配约束条件包括每个存储任务的延迟约束条件和所述共享资源池中每种类型的内存的存储资源容量约束条件,在满足所述内存分配约束条件的基础上,根据所述任务属性信息,确定为每个内存分区分配的目标节点及所述目标节点中为所述内存分区分配的目标内存信息,得到每个内存分区的内存分区策略,包括:

4.根据权利要求3所述的方法,其特征在于,在所述若所述整体延迟信息满足所述延迟约束条件,且所述共享资源池中每种类型的内存的已分配内存容量满足所述存储资源容量约束条件,则确定所述候选节点为目标节点、所述候选内存信息为目标内存信息之前,还包括:

5.根据权利要求1所述的方法,其特征在于,每个节点的内存资源使用率为每个节点中所有类型内存的内存资源使用率的平均值,所述根据每个节点中已分配内存容量和内存总容量,确定每个节点的内存资源使用率,包括:

6.根据权利要求5所述的方法,其特征在于,所述当前节点中每种类型内存的内存资源使用率采用如下公式计算:

7.根据权利要求1至6任一项所述的方法,其特征在于,所述任务属性信息包括以下任一项或多项:所述存储任务的数据量、所述存储任务的数据类型。

8.根据权利要求1至6任一项所述的方法,其特征在于,还包括:

9.根据权利要求8所述的方法,其特征在于,所述根据所述共同特征模板,对所述多组数据进行存储,包括:

10.根据权利要求1至6任一项所述的方法,其特征在于,还包括:

11.根据权利要求10所述的方法,其特征在于,所述在所述...

【专利技术属性】
技术研发人员:赵雅倩杨宏斌董刚
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1