一种评估移动分布式存储集群可靠性的方法技术

本发明专利技术一种评估移动分布式存储集群可靠性的方法，包括：获取移动分布式存储集群的历史数据，计算数据传输时路径节点之间最短的通信时间；根据路径节点之间最短的通信时间、在数据传输的过程中初始节点开始按照数据传输路径向下一级节点发送数据的时间以及最后一个节点完成数据接收的时间计算移动分布式存储集群的存储成功率和修复成功率；根据移动分布式存储集群的容错机制参数、每个时刻节点之间的网络带宽、移动分布式存储集群内所有数据采用副本机制和容错机制的占比、移动分布式存储集群的存储成功率和修复成功率计算移动分布式存储集群的可靠性代价率。布式存储集群的可靠性代价率。布式存储集群的可靠性代价率。

【技术实现步骤摘要】
一种评估移动分布式存储集群可靠性的方法


[0001]本专利技术涉及计算机存储
，特别涉及一种评估移动分布式存储集群可靠性的方法。

技术介绍

[0002]随着嵌入式设备、网络通信技术和物联网等新兴技术的发展，移动分布式存储集群得到广泛应用。它们可能部署在恶劣环境的中执行危险任务，例如部署在火山、地震、战场等危险环境中总是移动地执行数据收集和存储等任务。在这样的危险环境中，由于外部破坏或内部故障等原因，导致节点经常故障，威胁集群数据的安全性和可靠性。保证数据可靠性是至关重要的。
[0003]为了保证数据可靠性，移动分布式存储集群通常采取冗余容错存储技术，包括副本与纠删码两种以及纠删码与副本混合的容错机制。在危险环境的移动分布式存储集群中，节点故障率高，当执行数据收集和存储等任务时，需要采用容错机制分布式存储机制以保证数据可靠性，而当节点故障时需要及时进行数据修复以保证数据不丢失。因此保证集群可靠性包括数据存储与修复两个过程，然而现有的研究通常独立研究数据存储和修复过程，缺乏一个能综合评价数据存储与修复过程的评价指标。通过一个保证集群可靠性所需付出的代价的综合指标，可以指导移动分布式存储集群选择合适的容错机制及参数，以最小化保证可靠性所需的代价，在实际应用中具体表现在，数据传输数据量减少、数据存储与修复时间减少、集群数据的可靠性提升。

技术实现思路

[0004]为了解决部署在危险环境的移动分布式存储集群保证可靠性付出高代价，且缺乏一个能综合评价数据存储与修复过程中保证可靠性的代价指标，本专利技术提供一种评估移动分布式存储集群可靠性的方法，包括：
[0005]S1：获取移动分布式存储集群的历史数据，所述移动分布式存储集群的历史数据包括：所有节点在不同时刻的位置信息、每个时刻节点之间的网络带宽并将不同时刻节点之间的网络带宽划分为b个带宽区间、移动分布式存储集群内所有数据采用副本容错机制和纠删码容错机制的占比、在每个带宽区间内数据采用副本容错机制和纠删码容错机制的占比、移动分布式存储集群的容错机制参数m、数据传输的路径、在数据传输的过程中初始节点开始按照数据传输路径向下一级节点发送数据的时间以及最后一个节点完成数据接收的时间；
[0006]S2：根据数据传输的过程中初始节点开始按照数据传输路径向下一级节点发送数据时数据传输路径中所有路径节点的位置信息计算数据传输路径中相邻路径节点之间的通信时间并得到路径节点之间最短的通信时间；
[0007]S3：根据路径节点之间最短的通信时间、在数据传输的过程中初始节点开始按照数据传输路径向下一级节点发送数据的时间以及最后一个节点完成数据接收的时间计算
移动分布式存储集群在每个带宽区间范围内数据采用副本容错机制和纠删码容错机制的存储成功率和修复1到m个节点的修复成功率；
[0008]S4：根据移动分布式存储集群的容错机制参数m、每个时刻节点之间的网络带宽、移动分布式存储集群内所有数据采用副本机制和容错机制的占比、在每个带宽区间内数据采用副本容错机制和纠删码容错机制的占比、移动分布式存储集群在每个带宽区间范围内数据采用副本容错机制和纠删码容错机制的存储成功率和修复1到m个节点的修复成功率计算移动分布式存储集群的可靠性代价率。
[0009]本专利技术至少具有以下有益效果
[0010]通过本专利技术能够提出一种评估移动分布式存储集群可靠性的方法能指导移动分布式存储集群选择合适的容错机制及参数，从而最小化保证可靠性所需的代价，在实际应用中具体表现在，数据传输数据量减少、数据存储与修复时间减少、集群数据的可靠性提升。本专利技术具有成本低、易实施等优势，同时具有良好的可扩展性、实用性。
附图说明
[0011]图1为本专利技术的分布式存储集群中数据分布式存储与修复的示意图；
[0012]图2为本专利技术的修复事件发生概率示意图；
[0013]图3为本专利技术的纠删码与副本容错机制的分布式存储与修复示意图；
[0014]图4为本专利技术的可靠性代价率计算的流程图。
具体实施方式
[0015]下面结合附图和实施例对本专利技术作进一步说明，本专利技术针对移动分布式存储集群，提供了一种评估移动分布式存储集群可靠性代价的方法，该方法综合考虑了移动场景下数据存储和修复的整体性能，以此来衡量确保移动分布式集群可靠性所需的代价。
[0016]请参阅图1，本专利技术的移动分布式存储集群中数据存储与修复的示意图，每个节点执行的具体任务是在一段时间内收集必要的数据，并分布式存储，在节点故障时进行修复。以节点1为例，在T1时间段内，节点1收集数据，并把必要的数据冗余存储到节点2、节点4、节点5。在T2时间段内，节点1继续将需要存储的新数据冗余存储到节点4、节点5和节点6；由于节点的移动，导致节点6与节点1之间的通信中断。接着，在T3时间段内，节点1遭受外力影响而永久性失效，然后通过集群中节点2、节点4和节点5中存储的相关数据，将节点1丢失的数据恢复到节点3，同时，由于节点移动，导致节点4的通信断开，T3时间段的数据修复失败。然后所有节点继续收集和冗余存储数据，直到结束，最后将采集的数据带回数据中心。
[0017]请参阅图2，为本专利技术的修复事件发生概率示意图，对容错能力为m的移动分布式存储集群来说，有4种可能的节点故障场景：
①
只有一个节点故障，如场景1所示；
②
大于1且小于m个节点故障，如场景2所示；
③
有m个节点故障，如场景3所示。每个节点的故障概率是独立同分布，且根据经验得知，都是P
fail
，因此得到修复事件发生的概率为P
fail
+P
fail2
+
…
+P
failm
。
[0018]图3为本专利技术的纠删码与副本容错机制的存储与修复示意图，副本通过简单的复制原始数据块来分布式存储数据，在数据分布过程中传输d*k块数据，在数据修复过程中仅需要传输1块数据，纠删码通过将切分的k块原始数据通过编码操作得到额外的m块冗余校
验块，在数据分布过程中传输k+m块数据，在数据修复过程中需要传输k块数据。由图3可知，副本容错技术的优点是实现简单，然而它有高存储空间开销和数据存储时大量传输开销的缺点。与副本容错技术相比，纠删码容错技术具有更低的存储空间开销和数据存储时传输开销，但是它在数据修复时有更高的数据传输开销与数据读取开销。因为纠删码容错机制的修复需要从多个存活节点读取大量数据，然后通过纠删码解码计算得到失效数据。
[0019]请参阅图4，本专利技术提出一种评估移动分布式存储集群可靠性的方法，对上述介绍的移动分布式存储集群进行可靠性评估，根据可靠性评估的结果调节服务器节点对数据的容错机制，降低保证可靠性所需的代价，具体包括一下步骤：
[0020]S1：获取移动分布式存储集群的历史数据，所述移动分布式存储集群的历史数据包括：所有节点在不同时刻的位置信息、每个时刻节点之间的网络带宽并将不同时刻节点之本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种评估移动分布式存储集群可靠性的方法，其特征在于，包括：S1：获取移动分布式存储集群的历史数据，所述移动分布式存储集群的历史数据包括：所有节点在不同时刻的位置信息、每个时刻节点之间的网络带宽并将不同时刻节点之间的网络带宽划分为b个带宽区间、移动分布式存储集群内所有数据采用副本容错机制和纠删码容错机制的占比、在每个带宽区间内数据采用副本容错机制和纠删码容错机制的占比、移动分布式存储集群的容错机制参数m、数据传输的路径、在数据传输的过程中初始节点开始按照数据传输路径向下一级节点发送数据的时间以及最后一个节点完成数据接收的时间；S2：根据数据传输的过程中初始节点开始按照数据传输路径向下一级节点发送数据时数据传输路径中所有路径节点的位置信息计算数据传输路径中相邻路径节点之间的通信时间并得到路径节点之间最短的通信时间；S3：根据路径节点之间最短的通信时间、在数据传输的过程中初始节点开始按照数据传输路径向下一级节点发送数据的时间以及最后一个节点完成数据接收的时间计算移动分布式存储集群在每个带宽区间范围内数据采用副本容错机制和纠删码容错机制的存储成功率和修复1到m个节点的修复成功率；S4：根据移动分布式存储集群的容错机制参数m、每个时刻节点之间的网络带宽、移动分布式存储集群内所有数据采用副本机制和容错机制的占比、在每个带宽区间内数据采用副本容错机制和纠删码容错机制的占比、移动分布式存储集群在每个带宽区间范围内数据采用副本容错机制和纠删码容错机制的存储成功率和修复1到m个节点的修复成功率计算移动分布式存储集群的可靠性代价率。2.根据权利要求1所述的一种评估移动分布式存储集群可靠性的方法，其特征在于，所述路径节点之间最短的通信时间包括：T
success
＝min{T(v
i
，v
j
)
success
|0≤i≤n
′‑
2}其中，n
′
表示数据传输的路径中路径节点的数量，v
i
表示路径节点i的移动速度，v
j
表示路径节点j的移动速度，R表示路径节点i和路径节点j之间的通信距离，T(v
i
，v
j
)
success
表示路径节点i和路径节点j的数据传输时间，v
i_x
和v
j_x
分别表示速度v
i
和v
j
在x方向的分量，v
i_y
和v
j_y
分别表示速度v
i
和v
j
在y方向的分量，T
success
表示路径节点之间最短的通信时间。3.根据权利要求1所述的一种评估移动分布式存储集群可靠性的方法，其特征在于，所述移动分布式存储集群在每个带宽区间范围内数据采用副本容错机制和纠删码容错机制的存储成功率和修复1到m个节点的修复成功率包括：S31：根据在数据传输的过程中初始节点开始按照数据传输路径向下一级节点发送数据的时间以及最后一个节点完成数据接收的时间计算数据传输的实际时间；S32根据数据传输的实际时间和路径节点之间最短的通信时间计算移动分布式存储集群在每个带宽区间范围内数据采用副本容错机制和纠删码容错机制的存储成功率和修复1到m个节点的修复成功率；当本次数据传输为移动分布式存储集群在存储过程中进行的数据传输且数据传输的实际时间小于路径节点之间最短的通信时间时存储数据传输成功次数加1，根据移动分布
式存储集群在每个带宽区间范围内的存储过程中采用副本机制的数据传输成功的次数与数据传输的总次数的比值得到移动分布式存储集群的副本存储成功率，根据移动分布式存储集群在每个带宽区间范围内的存储过程中采用纠删码机制的数据传输成功的次数与数据传输的总次数的比值得到移动分布式存储集群的纠删码存储成功率；当本次数据传输为移动分布式存储集群在修复过程中进行的数据传输且数据传输的实际时间小于...

【专利技术属性】
技术研发人员：吴宇，刘铎，刘人萍，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：