一种基于纠删码的异构网络单节点修复方法及系统技术方案

本发明专利技术提供了一种基于纠删码的异构网络单节点修复方法及系统，属于计算机存储领域，方法为：获取当前网络带宽状态，包括各个节点之间的带宽；为每个失效节点选择对应的新生节点requestor以存储修复数据，并从所有幸存节点中为每个失效节点选择k个helper节点；其中，k为原始数据块；枚举每个时间戳所有可能的修复方法，选择最大的最低链路带宽所对应的修复方法，以生成源条带单级转发链路；其链路的两个节点为失效节点对应的不同helper节点；将源条带单级转发链路插入纠删码集群中完成对失效节点的修复。本发明专利技术充分利用节点之间的高带宽资源，能够避免网络的拥塞与竞争，提升修复性能与系统的可靠性。性能与系统的可靠性。性能与系统的可靠性。

【技术实现步骤摘要】
一种基于纠删码的异构网络单节点修复方法及系统


[0001]本专利技术属于计算机存储领域，更具体地，涉及一种基于纠删码的异构网络单节点修复方法及系统。

技术介绍

[0002]随着信息技术的飞速发展，数据量的爆炸式增长给存储系统带来了巨大的压力。为了防止故障导致数据不可用，现有的大规模分布式存储系统引入了纠删码以保持系统可靠性并降低存储成本。但是纠删码有一个缺陷是：在数据进行修复时会产生大量的带宽与实践开销。从用户角度来讲降低修复时间更有意义。
[0003]异构网络环境中的低带宽链路是阻碍修复的关键。当前有一些研究针对在异构的网络环境中实现纠删码的快速修复技术，例如parallel pipeline tree(PPT)，通过使用一个特殊带宽间隙以绕过低带宽链路从而降低修复时间。但PPT基于带宽间隙的方法会导致网络拥塞和竞争。因此，针对云存储中带宽异构的环境且低带宽链路阻碍修复时间的情况，提出一个快速的单节点修复方法以修复数据，保证云存储中数据的可靠性是十分重要且有意义的。

技术实现思路

[0004]针对现有技术的缺陷，本专利技术的目的在于提供一种基于纠删码的异构网络单节点修复方法及系统，旨在解决现有的异构网络环境中低带宽链路阻碍失效节点修复，导致对失效节点修复时间较长的问题。
[0005]为实现上述目的，一方面，本专利技术提供了一种基于纠删码的异构网络单节点修复方法，包括以下步骤：
[0006]获取当前网络带宽状态，包括各个节点之间的带宽；
[0007]为每个失效节点选择对应的新生节点requestor以存储修复数据，并从所有幸存节点中为每一个失效节点选择k个helper节点；其中，k为原始数据块；
[0008]枚举每个时间戳所有可能的修复方法，选择最大的最低链路带宽所对应的修复方法，以生成源条带单级转发链路；
[0009]其中，修复方法为将链路插入纠删码集群中完成对失效节点修复；链路的两个节点为失效节点对应的不同helper节点；
[0010]将源条带单级转发链路插入纠删码集群中完成对失效节点的修复。
[0011]优选地，采用iperf或心跳机制获取当前网络带宽状态。
[0012]优选地，新生节点的选择方法为：
[0013]若失效磁盘能够读写数据时，则失效节点能够作为新生节点requestor；否则，只能选择条带外的节点作为新生节点requestor。
[0014]优选地，寻找源条带单级转发链路中的最低带宽链路，通过多级转发方法，使用空闲节点绕过最低带宽链路，生成非源条带多级转发链路插入纠删码集群中完成对失效节点
的修复。
[0015]优选地，采用空闲节点绕过最低带宽链路的方法，包括以下步骤：
[0016]从纠删码集群条带外的空闲节点；
[0017]利用空闲节点构建若干多级转发链路，计算单个时间戳内多级转发链路的修复时间，选择修复时间最少的多级转发链路为非源条带多级转发链路；
[0018]其中，选择的非源条带多级转发链路的修复时间比最低带宽链路的修复时间短；
[0019]利用空闲节点构建多级转发链路的方法为：多级转发链路的第一个链路为起始节点指向空闲节点，且以最低带宽链路的起始节点为第一个链路的起始节点，起始节点指向空闲节点；多级转发链路的最后一个链路为空闲节点指向终止节点，且最低带宽链路的终止节点为最后一个链路的终止节点。
[0020]优选地，基于非源条带多级转发链路进行流水线优化，流水线优化方法具体包括以下步骤：
[0021]将非源条带多级转发链路中的数据块分为大小相同的分片；
[0022]将每个分片按照非源条带多级转发链路的方向进行传输，且不同分片之间按照流水线的方式以修复失效节点。
[0023]另一方面，本专利技术提供了一种基于纠删码的异构网络单节点修复系统，包括：
[0024]带宽获取模块，用于获取当前网络带宽状态，包括各个节点之间的带宽；
[0025]节点选取模块，用于为每个失效节点选择对应的新生节点requestor以存储修复数据，并从所有幸存节点中为每个失效节点选择k个helper节点；其中，k为原始数据块；
[0026]单级转发链路生成模块，用于枚举每个时间戳所有可能的修复方法，选择最大的最低链路带宽所对应的修复方法，以生成源条带单级转发链路；
[0027]其中，修复方法为将链路插入纠删码集群中完成对失效节点修复；链路的两个节点为失效节点对应的不同helper节点；
[0028]失效节点修复模块，用于将源条带单级转发链路插入纠删码集群中完成对失效节点的修复。
[0029]优选地，带宽获取模块采用iperf或心跳机制获取当前网络带宽状态。
[0030]优选地，节点选取模块选择新生节点的方法为：
[0031]若失效磁盘能够读写数据时，则失效节点能够作为新生节点requestor；否则，只能选择条带外的节点作为新生节点requestor。
[0032]优选地，异构网络单节点修复系统还包括多级转发链路生成模块，用于寻找源条带单级转发链路中的最低带宽链路，通过多级转发方法，使用空闲节点绕过最低带宽链路，生成非源条带多级转发链路；
[0033]失效节点修复模块，用于将非源条带多级转发链路插入纠删码集群中完成对失效节点的修复。
[0034]优选地，采用空闲节点绕过最低带宽链路的方法，包括以下步骤：
[0035]从纠删码集群条带外的空闲节点；
[0036]利用空闲节点构建若干多级转发链路，计算单个时间戳内多级转发链路的修复时间，选择修复时间最少的多级转发链路为非源条带多级转发链路；
[0037]其中，选择的非源条带多级转发链路的修复时间比最低带宽链路的修复时间短；
[0038]利用空闲节点构建多级转发链路的方法为：多级转发链路的第一个链路为起始节点指向空闲节点，且以最低带宽链路的起始节点为第一个链路的起始节点，起始节点指向空闲节点；多级转发链路的最后一个链路为空闲节点指向终止节点，且最低带宽链路的终止节点为最后一个链路的终止节点。
[0039]优选地，异构网络单节点修复系统还包括流水线优化模块，用于将非源条带多级转发链路中的数据块分为大小相同的分片后，将每个分片按照非源条带多级转发链路的方向进行传输，且不同分片之间按照流水线的方式以修复失效节点。
[0040]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，具有以下有益效果：
[0041]本专利技术提供的基于纠删码的异构网络单节点修复方法，根据当前网络带宽状态，通过选择失效节点对应的新生节点requestor以及helper节点，构建多种修复链路，本专利技术通过枚举每个时间戳所有可能的修复方法，选择最大的最低链路带宽所对应的修复方法，生成源条带单级转发链路，充分利用节点之间的高带宽资源，能够避免网络的拥塞与竞争，提升修复性能与系统的可靠性。
[0042]本专利技术中寻找源条带单级转发链路中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于纠删码的异构网络单节点修复方法，其特征在于，包括以下步骤：获取当前网络带宽状态，包括各个节点之间的带宽；为每个失效节点选择对应的新生节点requestor以存储修复数据，并从所有幸存节点中为每个失效节点选择k个helper节点；其中，k为原始数据块；枚举每个时间戳所有可能的修复方法，选择最大的最低链路带宽所对应的修复方法，以生成源条带单级转发链路；其中，修复方法为将链路插入纠删码集群中完成对失效节点修复；链路的两个节点为失效节点对应的不同helper节点；将源条带单级转发链路插入纠删码集群中完成对失效节点的修复。2.根据权利要求1所述的异构网络单节点修复方法，其特征在于，采用iperf或心跳机制获取当前网络带宽状态。3.根据权利要求1或2所述的异构网络单节点修复方法，其特征在于，所述新生节点的选择方法为：若失效磁盘能够读写数据时，则失效节点能够作为新生节点requestor；否则，只能选择条带外的节点作为新生节点requestor。4.根据权利要求1所述的异构网络单节点修复方法，其特征在于，寻找源条带单级转发链路中的最低带宽链路，通过多级转发方法，使用空闲节点绕过最低带宽链路，生成非源条带多级转发链路插入纠删码集群中完成对失效节点的修复。5.根据权利要求4所述的异构网络单节点修复方法，其特征在于，采用空闲节点绕过最低带宽链路的方法，包括以下步骤：从纠删码集群条带外的空闲节点；利用空闲节点构建若干多级转发链路，计算单个时间戳内多级转发链路的修复时间，选择修复时间最少的多级转发链路为非源条带多级转发链路；其中，选择的非源条带多级转发链路的修复时间比最低带宽链路的修复时间短；利用空闲节点构建多级转发链路的方法为：多级转发链路的第一个链路为起始节点指向空闲节点，且以最低带宽链路的起始节点为第一个链路的起始节点，起始节点指向空闲节点；多级转发链路的最后一个链路为空闲节点指向终止节点，且最低带宽链路的终止节点为最后一个链路的终止节点。6.根据权利要求4或5所述的异构网络单节点修复方法，其特征在于，基于非源条带多级转发链路进行流水线优化，流水线优化方法具体包括以下步骤：将非源条带多级转发链路中的数据块分为大小相同的分片；将...

【专利技术属性】
技术研发人员：冯丹，胡燏翀，周海，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：