基于分布式存储系统的多节点修复方法及其系统技术方案

本发明专利技术提供一种基于分布式存储系统的多节点修复方法及其系统，所述方法在修复节点过程中，从不同类型的节点下载数据需要不同的下载费用，根据不同待修复新节点的下载费用调整从每个连接节点下载的数据量，使得在使用不对等的下载信息量的同时，借助多节点协作机制带来的优势，从而降低多节点修复的费用。

【技术实现步骤摘要】

本专利技术属于分布式存储系统，特别是一种基于分布式存储系统的多节点修复方法及其系统。
技术介绍
近年来，系统产生的数据规模显著增长，在社会生活方面，诸如社交网络、流媒体服务以及电子商务等所产生的数据量都在TB甚至PB级别；在科学研究领域方面，诸如海洋和大气研究、天气预报、能源开发等方面每天需要处理的数据也是海量级，例如一颗卫星一天拍摄图像所产生的数据量就在TB级别。因此，分布式存储系统逐渐发展起来，将数据处理与数据存储分离以适应大数据的存储。然而，在针对分布式存储系统损坏节点的数据修复研究中，大多数的再生码和其他编码方法都是基于参与修复的数据节点具有相同的下载费用，而修复数据过程中从每个数据节点下载的信息量也是一样的。然而实际应用中，经常存在各个数据节点具有不一样的下载费用的情况。因此，不同的数据节点而采用相同的下载费用，往往导致修复损坏节点的费用较高。
技术实现思路
针对上述现有技术中存在的问题，本专利技术提供一种基于分布式存储系统的多节点修复方法及其系统，能够降低多节点修复的费用。本专利技术的基于分布式存储系统的多节点修复方法，技术方案如下，包括：根据最大流最小割确定新节点连接的节点集合，所述节点集合包括第一类型节点以及第二类型节点；获取所述节点集合中第一类型节点的数量以及第二类型节点的数量；根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，计算修复该新节点总费用最小时的第一类型节点的第一下载量和第二类型节点的第二下载量；根据所述节点集合、第一下载量和第二下载量修复该新节点。本专利技术的基于分布式存储系统的多节点修复系统，包括：节点确定模块，用于根据最大流最小割确定与待修复的新节点连接的节点集合，所述节点集合包括第一类型节点以及第二类型节点；节点获取模块，用于获取所述节点集合中第一类型节点的数量以及第二类型节点的数量；计算模块，用于根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，计算修复该新节点总费用最小时从第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量；节点修复模块，用于根据所述节点集合、第一下载量和第二下载量修复该新节点。本专利技术的基于分布式存储系统的多节点修复方法及其系统，在修复节点过程中，从不同类型的节点下载数据需要不同的下载费用，根据不同待修复新节点的下载费用调整从每个连接节点下载的数据量，使得在使用不对等的下载信息量的同时，借助多节点协作机制带来的优势，从而降低多节点修复的费用。附图说明图1为一个实施例的基于分布式存储系统的多节点修复方法的流程示意图；图2为一个较佳实现方式的非对称协作码信息流图；图3为一个较佳实现方式的非对称单节点修复模式与非对称多节点修复模式的最小修复带宽对比图；图4为一个较佳实现方式的非对称单节点修复模式与非对称多节点修复模式的总下载费用对比图；图5为一个实施例的基于分布式存储系统的多节点修复系统的流程示意图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。请参阅图1中一个实施例的基于分布式存储系统的多节点修复方法的流程示意图，包括步骤S101至步骤S104：S101，根据最大流最小割确定新节点连接的节点集合，所述节点集合包括第一类型节点以及第二类型节点。步骤S101通过将节点修复问题抽象为信息流图模型的方式，利用图论中最大流最小割定理分析得出模型的最小割公式，通过最大流最小割公式确定修复新节点需要连接的节点集合，保证了节点的极大距离可分码属性，从而在节点修复过程中优化了修复模型。作为一个优选的实施方式，所述节点集合中包括原始节点以及其他已修复的新节点。以往的研究都是基于每次修复一个失效的数据节点原则，继而修复下一个数据节点，即单节点修复模式。但是多个数据节点同时失效在存储系统中经常发生，例如churn系统，系统常会有多个数据节点同时离开或者加入系统中，此外，很多P2P系统经常在大面积断电的情况下需要面对很多突然的失联，或被恶意控制的大量数据节点同时离开系统，虽然大多数现有的修复机制可以通过一个接一个的修复方式来恢复多个数据节点，但其修复效率低，效果并不理想。假定存有原始文件的n个节点中的r个数据节点同时失效，按照单节点模式，新数据节点需要下载的数据只能从现有的(n-r)个数据节点获得，而重建的r个新数据节点之间的带宽不能被有效的利用。然而，通过本优选实施方式，能够有效利用重建完成的新数据节点之间的带宽，从而提高待修复节点的修复效率。S102，获取所述节点集合中第一类型节点的数量以及第二类型节点的数量。在修复节点过程中从不同类型节点下载数据需要不同的下载费用，因此分别获取所述节点集合中第一类型节点的数量以及第二类型节点的数量，可为后续计算修复该新节点总费用最小时的第一类型节点的第一下载量和第二类型节点的第二下载量提供数据基础。S103，根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，计算修复该新节点总费用最小时的第一类型节点的第一下载量和第二类型节点的第二下载量。本步骤根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，从不同类型的节点下载数据对应不同的下载费用，根据不同待修复新节点的下载费用调整从每个连接节点下载的数据量，使得在使用不对等的下载信息量的同时，计算得到修复该新节点总费用最小时的第一类型节点的第一下载量和第二类型节点的第二下载量。具体地，步骤S103可通过以下方式实现：根据第一类型节点的数量以及第一类型节点的单位下载费用，计算修复该新节点从第一类型节点下载数据所需的第一下载费用；根据第二类型节点的数量以及第二类型节点的单位下载费用，计算修复该新节点从第二类型节点下载数据所需的第二下载费用；根据所述第一下载费用以及第二下载费用得到修复该新节点的总费用，并计算修复该新节点总费用最小时从第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量。S104，根据所述节点集合、第一下载量和第二下载量修复该新节点。根据通过步骤S103得到的第一下载量、第二下载量，以及节点集合中不同类型的节点，从节点集合中下载数据，修复该新节点，从而降低了该节点本文档来自技高网...

【技术保护点】
基于分布式存储系统的多节点修复方法，其特征在于，包括：根据最大流最小割确定与待修复的新节点连接的节点集合，所述节点集合包括第一类型节点以及第二类型节点；获取所述节点集合中第一类型节点的数量以及第二类型节点的数量；根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，计算修复该新节点总费用最小时从第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量；根据所述节点集合、第一下载量和第二下载量修复该新节点。

【技术特征摘要】
1.基于分布式存储系统的多节点修复方法，其特征在于，包括：
根据最大流最小割确定与待修复的新节点连接的节点集合，所述节点集合
包括第一类型节点以及第二类型节点；
获取所述节点集合中第一类型节点的数量以及第二类型节点的数量；
根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下
载费用以及第二类型节点的单位下载费用，计算修复该新节点总费用最小时从
第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量；
根据所述节点集合、第一下载量和第二下载量修复该新节点。
2.根据权利要求1所述的基于分布式存储系统的多节点修复方法，其特征
在于，所述节点集合中包括原始节点以及其他已修复的新节点。
3.根据权利要求2所述的基于分布式存储系统的多节点修复方法，其特征
在于，所述根据第一类型节点的数量、第二类型节点的数量、第一类型节点的
单位下载费用以及第二类型节点的单位下载费用，计算修复该新节点总费用最
小时从第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量，
包括：
根据第一类型节点的数量以及第一类型节点的单位下载费用，计算修复该
新节点从第一类型节点下载数据所需的第一下载费用；
根据第二类型节点的数量以及第二类型节点的单位下载费用，计算修复该
新节点从第二类型节点下载数据所需的第二下载费用；
根据所述第一下载费用以及第二下载费用得到修复该新节点的总费用，并
计算修复该新节点总费用最小时从第一类型节点下载的第一下载量和从第二类
型节点下载的第二下载量。
4.根据权利要求1所述的基于分布式存储系统的多节点修复方法，其特征
在于，所述根据所述节点集合、第一下载量和第二下载量修复该新节点，包括：
根据所述第一下载量从节点集合中的第一类型节点得到第一下载数据，以
及根据所述第二下载量从节点集合中的第二类型节点得到第二下载数据；
根据...

【专利技术属性】
技术研发人员：宋述鹏，陈雪晨，
申请(专利权)人：广东顺德中山大学卡内基梅隆大学国际联合研究院，中山大学，
类型：发明
国别省市：广东;44