一种基于纠删码的异构网络单节点修复方法及系统技术方案

本发明专利技术提供了一种基于纠删码的异构网络单节点修复方法及系统，属于计算机存储领域，方法为：获取当前网络带宽状态，包括各个节点之间的带宽；为每个失效节点选择对应的新生节点requestor以存储修复数据，并从所有幸存节点中为每个失效节点选择k个helper节点；其中，k为原始数据块；枚举每个时间戳所有可能的修复方法，选择最大的最低链路带宽所对应的修复方法，以生成源条带单级转发链路；其链路的两个节点为失效节点对应的不同helper节点；将源条带单级转发链路插入纠删码集群中完成对失效节点的修复。本发明专利技术充分利用节点之间的高带宽资源，能够避免网络的拥塞与竞争，提升修复性能与系统的可靠性。性能与系统的可靠性。性能与系统的可靠性。

【技术实现步骤摘要】
一种基于纠删码的异构网络单节点修复方法及系统


[0001]本专利技术属于计算机存储领域，更具体地，涉及一种基于纠删码的异构网络单节点修复方法及系统。

技术介绍

[0002]随着信息技术的飞速发展，数据量的爆炸式增长给存储系统带来了巨大的压力。为了防止故障导致数据不可用，现有的大规模分布式存储系统引入了纠删码以保持系统可靠性并降低存储成本。但是纠删码有一个缺陷是：在数据进行修复时会产生大量的带宽与实践开销。从用户角度来讲降低修复时间更有意义。
[0003]异构网络环境中的低带宽链路是阻碍修复的关键。当前有一些研究针对在异构的网络环境中实现纠删码的快速修复技术，例如parallel pipeline tree(PPT)，通过使用一个特殊带宽间隙以绕过低带宽链路从而降低修复时间。但PPT基于带宽间隙的方法会导致网络拥塞和竞争。因此，针对云存储中带宽异构的环境且低带宽链路阻碍修复时间的情况，提出一个快速的单节点修复方法以修复数据，保证云存储中数据的可靠性是十分重要且有意义的。

技术实现思路

[0004]针对现有技术的缺陷，本专利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于纠删码的异构网络单节点修复方法，其特征在于，包括以下步骤：获取当前网络带宽状态，包括各个节点之间的带宽；为每个失效节点选择对应的新生节点requestor以存储修复数据，并从所有幸存节点中为每个失效节点选择k个helper节点；其中，k为原始数据块；枚举每个时间戳所有可能的修复方法，选择最大的最低链路带宽所对应的修复方法，以生成源条带单级转发链路；其中，修复方法为将链路插入纠删码集群中完成对失效节点修复；链路的两个节点为失效节点对应的不同helper节点；将源条带单级转发链路插入纠删码集群中完成对失效节点的修复。2.根据权利要求1所述的异构网络单节点修复方法，其特征在于，采用iperf或心跳机制获取当前网络带宽状态。3.根据权利要求1或2所述的异构网络单节点修复方法，其特征在于，所述新生节点的选择方法为：若失效磁盘能够读写数据时，则失效节点能够作为新生节点requestor；否则，只能选择条带外的节点作为新生节点requestor。4.根据权利要求1所述的异构网络单节点修复方法，其特征在于，寻找源条带单级转发链路中的最低带宽链路，通过多级转发方法，使用空闲节点绕过最低带宽链路，生成非源条带多级转发链路插入纠删码集群中完成对失效节点的修复。5.根据权利要求4所述的异构网络单节点修复方法，其特征在于，采用空闲节点绕过最低带宽链路的方法，包括以下步骤：从纠删码集群条带外的空闲节点；利用空闲节点构建若干多级转发链路，计算单个时间戳内多级转发链路的修复时间，选择修复时间最少的多级转发链路为非源条带多级转发链路；其中，选择的非源条带多级转发链路的修复时间比最低带宽链路的修复时间短；利用空闲节点构建多级转发链路的方法为：多级转发链路的第一个链路为起始节点指向空闲节点，且以最低带宽链路的起始节点为第一个链路的起始节点，起始节点指向空闲节点；多级转发链路的最后一个链路为空闲节点指向终止节点，且最低带宽链路的终止节点为最后一个链路的终止节点。6.根据权利要求4或5所述的异构网络单节点修复方法，其特征在于，基于非源条带多级转发链路进行流水线优化，流水线优化方法具体包括以下步骤：将非源条带多级转发链路中的数据块分为大小相同的分片；将...

【专利技术属性】
技术研发人员：冯丹，胡燏翀，周海，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：