基于一致性树的分布式存储结构的构建方法及系统技术方案

本发明专利技术公开了一种基于一致性树的分布式存储结构的构建方法及系统，包括：将物理存储节点划分为多个互不相交的有限集合；将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；确定所述分布式存储结构中每个物理存储节点的位置id；可见，在本实施例中，通过这种树形存储结构，可以实现数据的分布式存储，解决分布式存储系统的数据均衡问题及可扩展性问题，有效地实现数据的分布式存储。

【技术实现步骤摘要】

本专利技术涉及分布式存储领域，更具体地说，涉及一种基于一致性树的分布式存储结构的构建方法及系统。
技术介绍
随着网络技术及信息处理技术的不断发展，个人数据和企业数据的产生量呈现爆炸性膨胀的趋势，IT系统正面临着数据存储成本高、管理困难、可靠性低的问题，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。分布式数据存储得到了广泛的应用。然而，目前存在的几种分布式存储方式并不能够完美地满足分布系统的需求。对于一个分布式系统，核心在于其分布式算法，它直接影响系统的可用性、健壮性和扩展性，不同的分布式存储系统有不同的存储策略和方法。目前，已经存在很多分布式系统方案及其应用系统。主流的分布式存储算法有数据分割、哈希分布和一致性哈希分布算法等，它们各有优缺点，且现有的几种分布式存储方式并不能够完美地满足分布系统的需求，如数据分割无法解决数据平衡问题，哈希分布无法解决系统扩展问题。因此，如何有效地实现数据的分布式存储，是本领域技术人员需要解决的问题。
技术实现思路
本专利技术的目的在于提供一种基于一致性树的分布式存储结构的构建方法及系统，以有效地实现数据的分布式存储。为实现上述目的，本专利技术实施例提供了如下技术方案：一种基于一致性树的分布式存储结构的构建方法，包括：将物理存储节点划分为多个互不相交的有限集合；将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；确定所述分布式存储结构中每个物理存储节点的位置id。其中，确定所述分布式存储结构中每个物理存储节点的位置id之后，还包括：保存每个物理存储节点对应的位置id，并生成二位数组。其中，确定所述分布式存储结构中每个物理存储节点的位置标志id之后，还包括：若检测到第一目标叶子节点的容量不足或者IO压力较大时，将所述目标叶子节点分裂为预定数量个节点；根据所述第一目标叶子节点的位置id确定分裂后生成的叶子节点的位置id，并更新至所述二位数组。其中，将所述目标叶子节点分裂为预定数量个节点，包括：将所述第一目标叶子节点中存储的数据分布存储在新添加的叶子节点上。其中，确定所述分布式存储结构中每个物理存储节点的位置标志id之后，还包括：若检测到第二目标叶子节点存储的数据被删除，或者移动到其他位置时，或者存储能力远大于需求时，将所述第二目标叶子节点进行缩容，释放空闲节点；根据所述第二目标叶子节点的位置id确定缩容后生成的叶子节点的位置id，并更新至所述二位数组。其中，将所述第二目标叶子节点进行缩容包括：将所述第二目标叶子节点存储的数据进行备份；将所述第二目标叶子节点存储的数据存储至相关联的叶子节点中，并从所述二位数组删除所述第二目标叶子节点存储的位置id。一种基于一致性树的分布式存储结构的构建系统，包括：划分模块，用于将物理存储节点划分为多个互不相交的有限集合；构建模块，用于将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；位置id确定模块，用于确定所述分布式存储结构中每个物理存储节点的位置id。其中，还包括：二位数组生成模块，用于保存每个物理存储节点对应的位置id，并生成二位数组。其中，还包括：第一检测模块，用于检测到第一目标叶子节点的容量不足或者IO压力较大时，触发节点分裂模块；所述节点分裂模块，用于将所述目标叶子节点分裂为预定数量个节点；第一更新模块，用于根据所述第一目标叶子节点的位置id确定分裂后生成的叶子节点的位置id，并更新至所述二位数组。其中，还包括：第二检测模块，用于检测到第二目标叶子节点存储的数据被删除，或者移动到其他位置时，或者存储能力远大于需求时，触发节点缩容模块；所述节点缩容模块，用于将所述第二目标叶子节点进行缩容，释放空闲节点；第二更新模块，用于根据所述第二目标叶子节点的位置id确定缩容后生成的叶子节点的位置id，并更新至所述二位数组。通过以上方案可知，本专利技术实施例提供的一种基于一致性树的分布式存储结构的构建方法及系统，包括：将物理存储节点划分为多个互不相交的有限集合；将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；确定所述分布式存储结构中每个物理存储节点的位置id；可见，在本实施例中，通过这种树形存储结构，可以实现数据的分
布式存储，解决分布式存储系统的数据均衡问题及可扩展性问题，有效地实现数据的分布式存储。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例公开的一种基于一致性树的分布式存储结构的构建方法流程示意图；图2(a)为本专利技术实施例公开的一致性树分布示意图；图2(b)为本专利技术实施例公开的一致性树分布式扩展示意图；图3为本专利技术实施例公开的一种基于一致性树的分布式存储结构的构建系统结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种基于一致性树的分布式存储结构的构建方法及系统，以有效地实现数据的分布式存储。参见图1，本专利技术实施例提供的一种基于一致性树的分布式存储结构的构建方法，包括：S101、将物理存储节点划分为多个互不相交的有限集合；S102、将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；具体的，本方案将存储节点组织为树结构的逻辑结构形式，其一致性在于树结构中的各个节点的一致性。具体的，在本实施例中一致性树分布模型用一颗多叉树表示，本质上来说是以分支关系定义的层次结构，对于某一个特定的树形模型，在每一个树形层次上，树形节点被划分为多个互不相交的有限集合T1,T2,…Tn，其中，每个集合本身又可以看作一颗树，依次循环，可以将所有的存储节点划分到不同的层次结构的不同数据组中。在一致性树分布结构中，每个叶子节点对应实际的物理存储节点，每个内部节点为叶子节点的分组集合。S103、确定所述分布式存储结构中每个物理存储节点的位置id。其中，确定所述分布式存储结构中每个物理存储节点的位置id之后，还包括：保存每个物理存储节点对应的位置id，并生成二位数组。具体的，在本实施例中对于每个节点，都可以用唯一的数字序列进行定义。从而该数字序列也就唯本文档来自技高网...

【技术保护点】
一种基于一致性树的分布式存储结构的构建方法，其特征在于，包括：将物理存储节点划分为多个互不相交的有限集合；将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；确定所述分布式存储结构中每个物理存储节点的位置id。

【技术特征摘要】
1.一种基于一致性树的分布式存储结构的构建方法，其特征在于，包括：将物理存储节点划分为多个互不相交的有限集合；将每个集合中的节点呈树形分布，构建一致性树的分布式存储结构；其中，每个集合中的物理存储节点为叶子节点，每个结合中的内部节点为对应的叶子节点的分组集合；确定所述分布式存储结构中每个物理存储节点的位置id。2.根据权利要求1所述的构建方法，其特征在于，确定所述分布式存储结构中每个物理存储节点的位置id之后，还包括：保存每个物理存储节点对应的位置id，并生成二位数组。3.根据权利要求2所述的构建方法，其特征在于，确定所述分布式存储结构中每个物理存储节点的位置标志id之后，还包括：若检测到第一目标叶子节点的容量不足或者IO压力较大时，将所述目标叶子节点分裂为预定数量个节点；根据所述第一目标叶子节点的位置id确定分裂后生成的叶子节点的位置id，并更新至所述二位数组。4.根据权利要求3所述的构建方法，其特征在于，将所述目标叶子节点分裂为预定数量个节点，包括：将所述第一目标叶子节点中存储的数据分布存储在新添加的叶子节点上。5.根据权利要求2所述的构建方法，其特征在于，确定所述分布式存储结构中每个物理存储节点的位置标志id之后，还包括：若检测到第二目标叶子节点存储的数据被删除，或者移动到其他位置时，或者存储能力远大于需求时，将所述第二目标叶子节点进行缩容，释放空闲节点；根据所述第二目标叶子节点的位置id确定缩容后生成的叶子节点的位置id，并更新至所述二位数组。6.根据权利要求5所述的构建方法，其特征在于，将所述第二目标叶子...

【专利技术属性】
技术研发人员：潘建峰，刘兆博，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11