The invention belongs to the field of data storage, and specifically relates to a path selection method for reconstructing erasure code failure nodes based on maximum spanning tree. The object of the present invention is to solve the problem that the performance of the traditional data repair method is seriously degraded in the case of multi-node failure. A path selection method for reconstructing the failed node of erasure code based on the maximum spanning tree is proposed. According to the computing ability of the node, the central node is elected, and the maximum spanning tree is generated according to the bandwidth between the nodes, so as to reduce the bandwidth consumption and repair of the network in the case of multi-node repair Recovery time, improve repair efficiency. The invention provides a path selection method for reconstructing failure nodes of erasure codes based on maximum spanning tree, which overcomes the serial repair problem of traditional erasure codes data repair method, reduces redundant data transmission, improves repair efficiency and reduces repair time.
【技术实现步骤摘要】
一种基于最大生成树的纠删码失效节点重构路径选择方法
本专利技术属于数据存储领域，具体涉及一种基于最大生成树的纠删码失效节点重构路径选择方法。
技术介绍
进入大数据时代，数据规模庞大，增长迅速。应用广泛的大型分布式系统，往往包含几千甚至上万个存储节点，庞大的规模使节点失效成为常态，据统计，大型系统之中，平均每天有1％～2％的节点失效，因此，通过冗余技术保证数据的可用性与可靠性，即在部分存储节点失效的情况下仍然能够访问系统中的所有数据尤为重要。常用的冗余技术有多副本技术和纠删码技术。多副本技术因其简单和数据访问带宽较高等优点被广泛应用。但随着数据量不断增长，多副本技术会引入极大的存储开销，且存储利用率低。相比于多副本技术，纠删码技术能够以较低的存储开销获得更高的数据可用性，近年来受到广泛的关注。然而，纠删码技术因其较高的修复成本并未得到大规模的应用。当有节点失效时，系统会选择空闲节点作为新生节点，新生节点从存活的节点(称为供应节点)中读取数据，完成失效数据的修复。新生节点需要从多个供应节点下载数据，造成了较高的网络资源消耗，并且降低了数据修复速度。因此，如何降低纠删码...
【技术保护点】
1.一种基于最大生成树的纠删码失效节点重构路径选择方法，其特征在于，该方法包括以下步骤：步骤1：选择中心节点；步骤1.1：根据空闲节点的计算能力选择出中心节点；步骤1.2：通过对比空闲节点计算能力大小，选择出计算能力最厉害的节点作为中心节点；步骤2：根据选择的中心节点，选择供应节点；步骤2.1：在中心节点选择完成后，确定向其传输数据的供应节点；步骤2.2：引入N′和E′，分别存放参与修复的供应节点和中心节点，以及之间的传输链路；步骤2.3：每一步扫描数组WEIGHT，在N‑N′中找出与N′有最大带宽的节点，令其为k，并输出边(k,NODE[k])，然后修改数组NODE和WE...
【技术特征摘要】
1.一种基于最大生成树的纠删码失效节点重构路径选择方法，其特征在于，该方法包括以下步骤：步骤1：选择中心节点；步骤1.1：根据空闲节点的计算能力选择出中心节点；步骤1.2：通过对比空闲节点计算能力大小，选择出计算能力最厉害的节点作为中心节点；步骤2：根据选择的中心节点，选择供应节点；步骤2.1：在中心节点选择完成后，确定向其传输数据的供应节点；步骤2.2：引入N′和E′，分别存放参与修复的供应节点和中心节点，以及之间的传输链路；步骤2.3：每一步扫描数组WEIGHT，在N-N′中找出与N′有最大带宽的节点，令其为k，并输出边(k,NODE[k])，然后修改数组NODE和WEIGHT，标记k已加入N′，直到N′中有d+1个节点结束，选择出d个供应节点；步骤3：根据选择的供应节点，选择新生节点；步骤3.1：选择存储修复数据的新生节点；步骤3.2：引入P′和D′，分别存放参与修复的新生节点和中心节点，以及之间的传输链路；步骤3.3：每一步扫描数组WEIGHT′，在P-P′中找出与P′有最大带宽的节点，令其为m，并输出边(m,NODE′[m])；然后修改数组NODE′和WEIGHT′，标记m已加入P′，直到P′中有r个节点结束，选择出r-1个新生节点；步骤4：恢复数据；步骤4.1：供应节点将数据传输到中心节点，中心节点根据失效数据，利用接收的数据，分别计算出r个节点失效数据；步骤4.2：中心节点保留一份失效数据，并将剩余的r-1份失效数据分别发送到r-1个新生节点中，完成r个失效节点的修复。2.根据权利要求1所述的一种基于最大生成树的纠删码失效节点重构路径选择方法，其特征在于，步骤1.1所述根据空闲节点的计算能力选择出中心节点包括：选取磁盘I/O、CPU核数、主频、内存这四个决定性因素作为节点计算能力初始化公式的参数，将这四个因素用x1～x4表示，并分配相应的权重ω1～ω4，对其中更加重要的因素分配大权重，ω1+ω2+ω3+ω4＝1，每个节点Ni的计算能力初始化为：3.根据权利要求1所述的一种基于最大生成树的纠删码失效节点重构路径选择方法，其特征在于，步骤2.1所述确定向其传输数据的供应节点包括：以N＝{N0,N1,N2,...,Nn-r}表示中心节点与候选供应节点组...
【专利技术属性】
技术研发人员：孟宇龙，任龙，徐东，张子迎，关智允，王鑫，王志文，温慧，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江,23
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。