一种面向分布式存储网络的树形结构数据插入方法技术

本发明专利技术公开了一种面向分布式存储网络的树形结构数据插入方法，包括以下步骤：收集存储网络内节点的位置信息；根据节点的位置，将所有存储节点分成K组；然后根据节点的故障率，在每组内对节点进行分类；利用演化博弈论构建博弈模型，使得每组内节点根据各自效用函数参与博弈，选出主节点；在每组内以主节点为根节点，构建树形结构的数据传输网络；在树形结构的数据传输网络基础上，利用节点直接异构链路带宽，构建最优分发树问题；基于改进蝴蝶优化算法求解最优分发树问题的最优解。本发明专利技术的优点是：通过分组并利用演化博弈论选出多个主节点，有效缓解节点负载不均衡问题，延长网络寿命，另外，基于改进蝴蝶算法构建最优分发树，有效提高数据插入的速度，提升带宽资源利用率。提升带宽资源利用率。提升带宽资源利用率。

【技术实现步骤摘要】
一种面向分布式存储网络的树形结构数据插入方法


[0001]本专利技术涉及分布式存储系统和数据存储领域，尤其涉及一种面向分布式存储网络的树形结构数据插入方法。

技术介绍

[0002]在当今大数据时代，激增的数据量给数据的存储带来了剧烈的挑战。根据 IDC发布的最新版白皮书《Data Age 2025》所述，全球数据量到2025年将会激增到175ZB。近些年，分布式存储系统因为其高可靠的存储服务能力能够为大量数据的存储需求提供解决方案而受到了广大的关注。在分布式存储系统中，为了保证存储数据的可靠性和可用性，通常采用多副本技术和纠删码技术作为数据冗余技术。相比于多副本技术，纠删码技术因为能够以更少的存储空间消耗来获得相同的容错能力而在分布式存储系统中得到广大青睐。
[0003]纠删码通常使用参数(n,k)表示，其中n表示编码块的数量，k表示数据块的数量。原始文件在存储到分布式存储系统之前，首先被分成k个数据块，然后通过编码过程生成n个编码块。然后，n个编码块分别被存储到n个不同的存储节点中，这个过程被称为数据插入。在分布式存储系统中，数据插入过程扮演着非常重要的角色。然而，大量的数据插入往往意味着大量的网络带宽资源的损耗。因此，快速且高效地完成数据插入过程对分布式存储系统来说至关重要。
[0004]传统的数据插入方法主要分为两类：顺序数据插入和随机数据插入，但是往往会存在级联错误和负载不均衡的问题。另外，根据插入方式不同，数据插入方法也可以分为集中式插入和分散式插入。前者通过一个源节点完成数据的编码和分发，导致源节点容易成为性能的瓶颈；后者往往需要和特殊的放置算法或编码方案相结合，不具备普遍性。总的来讲，现有的数据插入方法在实用性、灵活性以及有效性方面研究不足，主要体现为一下方面：(1)现有研究未能充分考虑不同性能的存储节点的分组为数据的插入带来的性能增益；(2)现有的数据插入方法对异构分布式存储网络中节点之间数据传输的拓扑结构关注不足，而该拓扑结构能够对数据传输的效率产生很大的影响。

技术实现思路

[0005]为了解决以上的描述的问题，本专利技术提出了一种面向分布式存储网络的树形结构数据插入方法，解决传统的数据插入过程中存储节点负载不均衡以及数据传输效率不高的问题。首先根据存储节点部署的地理位置将存储节点分成K组，每一组负责存储一部分源数据，然后在每一组存储节点中选择出一个主节点负责接收来自数据中心的文件以及将接收到的文件编码成编码块发送到组内其余节点，从而避免了单个主节点接收和编码数据而产生的负载不均衡问题；最后，把主节点作为根节点，和组内其余节点连接构建树结构传输网络，并提出改进的蝴蝶优化算法去构建最优数据分发树结构，提高传输效率，降低数据插入时间。
[0006]技术方案：为实现本专利技术的目的，本专利技术提供了一种面向分布式存储网络的树形
结构数据插入方法，包括一下步骤：
[0007]步骤一：在分布式存储系统中，收集各个存储节点的位置信息，然后根据节点位置将存储节点分成K组，该组群可表示为C＝{c1,c2,c3,
…
,c
K
}；
[0008]步骤二：在每个组内利用演化博弈论方法选出一个主节点；
[0009]步骤三：在每组内构建树形结构的数据传输网络，其中每组内的主节点作为根节点，组内其余节点作为树干节点和叶节点；
[0010]步骤四：在上述构建的树形结构传输网络中，考虑节点之间异构的链路带宽，构建数据插入时间最小化问题模型，利用改进的蝴蝶优化算法求取最优解。
[0011]所述步骤一包括以下步骤：
[0012]步骤(1.1)获取各个存储节点的位置相关信息
[0013]在分布式存储网络统计各个存储节点的位置，设置合适的分组数K，初始化 K个分组中心节点Z(1)＝{z1(1),z2(1),
…
,z
K
(1)}，其中括号里面表示迭代数；
[0014]步骤(1.2)计算节点与各分组中心节点之间的距离
[0015]计算各个节点与各分组中心节点的距离，将距离最小的节点分配到中心节点对应的组别中；重复迭代操作，直到获得最终的K个分组。
[0016]所述步骤二包括以下步骤：
[0017]步骤(2.1)根据故障率将组内的节点进行分类
[0018]对组内的节点的故障率进行收集并排序，得到一个故障率门限值Rlth，然后各节点对比该门限值，若自身故障率小于该门限值，则划分为低故障率节点，表示为LF类节点；若自身故障率大于该门限值，则划分为高故障率节点，表示为 HF类节点；
[0019]步骤(2.2)构建演化博弈论的博弈模型
[0020]设计博弈模型为MNG＝{P,S,U}，其中P表示博弈参与方，包括LF类节点和 HF类节点；S表示博弈参与方的策略集，包括两种策略：选择成为主节点(MN)和选择成为非主节点(NMN)；U表示效用函数集；
[0021]步骤(2.3)参与方根据各自效用函数进行博弈，确定主节点
[0022]根据效用函数计算出各个参与节点的效用函数值，通过比较各节点效用函数，并分析演化博弈的纳什均衡，确定主节点。
[0023]所述步骤三包括以下步骤：
[0024]步骤(3.1)构建以主节点为根节点的树形数据传输网络
[0025]在各个分组内，以主节点作为根节点，链接组内的其他节点，构成树形数据传输网络结构，其中节点之间的带宽是异构的。
[0026]所述步骤四包括以下步骤：
[0027]步骤(4.1)构建树形结构的数据传输时间模型
[0028]基于上述构建的链路带宽异构的树形传输网络，计算每个节点的后代子节点，结合树当中每条边的链路带宽，构建每条边上累计传输数据的时间模型；
[0029]步骤(4.2)建立最优数据分发树优化问题
[0030]针对上述数据传输时间模型，统计当中的数据传输时间最大值，然后以该最大值为目标函数，加入实际问题附带的约束条件，建立一个最优分发树结构的优化问题；
[0031]步骤(4.3)求解最优分发树优化问题
[0032]以最小化目标函数为目标，利用改进的蝴蝶优化算法，求解出拥有最优解的最优分发树结构。
[0033]进一步地，所述步骤(1.2)计算节点与各分组中心节点之间的距离如下：
[0034]V＝{v1,v2,
…
,v
N
}表示存储节点集合，C＝{c1,c2,
…
,c
K
}表示分组集合，节点z
l
表示组别c
l
的中心节点，则在组别c
l
中节点v
i
和其中心节点的距离为：
[0035][0036]其中获得中心节点z
l
的计算方法为：
[0037][0038]进一步地，步骤(2.3)参与方根据各自的支付矩阵计算如表1所示：
[0039]表1支本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向分布式存储网络的树形结构数据插入方法，其特征在于，包括以下步骤：步骤一：在分布式存储系统中，收集各个存储节点的位置信息，然后根据节点位置将存储节点分成K组，该组群可表示为C＝{c1，c2，c3，...，c
K
}；步骤二：在每个组内利用演化博弈论方法选出一个主节点；步骤三：在每组内构建树形结构的数据传输网络，其中每组内的主节点作为根节点，组内其余节点作为树干节点和叶节点；步骤四：在上述构建的树形结构传输网络中，考虑节点之间异构的链路带宽，构建数据插入时间最小化问题模型，利用改进的蝴蝶优化算法求取最优解；所述步骤一包括以下步骤：步骤(1.1)获取各个存储节点的位置相关信息；在分布式存储网络统计各个存储节点的位置，设置合适的分组数K，初始化K个分组中心节点Z(1)＝{z1(1)，z2(1)，...，z
K
(1)}，其中括号里面表示迭代数；步骤(1.2)计算节点与各分组中心节点之间的距离计算各个节点与各分组中心节点的距离，将距离最小的节点分配到中心节点对应的组别中；重复迭代操作，直到获得最终的K个分组；所述步骤二包括以下步骤：步骤(2.1)根据故障率将组内的节点进行分类对组内的节点的故障率进行收集并排序，得到一个故障率门限值R
lth
，然后各节点对比该门限值，若自身故障率小于该门限值，则划分为低故障率节点，表示为LF类节点；若自身故障率大于该门限值，则划分为高故障率节点，表示为HF类节点；步骤(2.2)构建演化博弈论的博弈模型设计博弈模型为MNG＝{P，S，U}，其中P表示博弈参与方，包括LF类节点和HF类节点；S表示博弈参与方的策略集，包括两种策略：选择成为主节点(MN)和选择成为非主节点(NMN)；U表示效用函数集；步骤(2.3)参与方根据各自效用函数进行博弈，确定主节点根据效用函数计算出各个参与节点的效用函数值，通过比较各节点效用函数，并分析演化博弈的纳什均衡，确定主节点；所述步骤三包括以下步骤：步骤(3.1)构建以主节点为根节点的树形数据传输网络在各个分组内，以主节点作为根节点，链接组内的其他节点，构成树形数据传输网络结构，其中节点之间的带宽是异构的；所述步骤四包括以下步骤：步骤(4.1)构建树形结构的数据传输时间模型基于上述构建的链路带宽异构的树形传输网络，计算每个节点的后代子节点，结合树当中每条边的链路带宽，构建每条边上累计传输数据的时间模型；步骤(4.2)建立最优数据分发树优化问题针对上述数据传输时间模型，统计当中的数据传输时间最大值，然后以该最大值为目标函数，加入实际问题附带的约束条件，建立一个最优分发树结构的优化问题；步骤(4.3)求解最优分发树优化问题
以最小化目标函数为目标，利用改进的蝴蝶优化算法，求解出拥有最优解的最优分发树结构。2.根据权利要求1所述的一种面向分布式存储网络的树形结构数据插入方法，其特征在于：所述步骤(1.2)计算节点与各分组中心节点之间的距离如下：V＝{v1，v2，...，v
N
}表示存储节点集合，C＝{c1，c2，...，c
K
}表示分组集合，节点z
l
表示组别c
l
的中心节点，则在组别c
l
中节点v
i
和其中心节点的距离为J(c
l
)＝∑v
i
∈c
l
||v
i
‑
z
l
||2其中获得中心节点z
l
的计算方法为3.根据权利要求1所述的一种面向分布式存储网络的树形结构数据插入方法，其特征在于：步骤(2.3)参与方根据各自的支付矩阵计算如表1所示：表1支付矩阵其中，P
LF
表示类LF节点的比例，P
HF
表示类HF节点的比例，V
LF
表示至少有一个LF类节点宣称成为主节点的支付成本，V
HF
表示至少有一个类HF节点宣称成为主节点的支付成本，C
m
表示成为主节点的成本；令p
L
表示LF类节点选择MN策略的概率，则其选择NMN策略的概率为(1
‑
p
L
)；令p
H
表示HF类节点选择MN策略的概率，则其选择NMN策略的概率为(1
‑
p
H
)。则对于LF类节点而言，选择MN策略和选择NMN策略的期望的效用函数计算如下：U
LF
‑
MN
＝p
H
·
P
LF
(V
LF
‑
C
m
)+(1
‑
p
H
)
·
P
LF
(V
LF
‑
C
m
)＝P
LF
·
V
L...

【专利技术属性】
技术研发人员：周子涵，
申请(专利权)人：周子涵，
类型：发明
国别省市：