【技术实现步骤摘要】
一种基于纠删码的数据并行重构方法及系统
[0001]本专利技术涉及数据重构领域，特别涉及一种基于纠删码的数据并行重构方法及系统。
技术介绍
[0002]在分布式存储系统中，数据存储的方式有副本与纠删码2种，副本与纠删码都是通过增加冗余数据的方式来保证数据在发生部分丢失时，原始数据不发生丢失。
[0003]副本技术因其简单和数据访问带宽较高等优点被广泛应用，但随着数据量不断增长，多副本技术会导致较大的存储开销，且存储利用率低。相比于多副本技术，纠删码技术能够以较低的存储开销获得更高的数据可用性，但在丢失数据后需要重构时，由于纠删码在重构任何一个数据块时，都需要从磁盘上读取多份其他数据和在网络上传输。这导致重构过程性能不佳，并使得系统暴露在不稳定状态。
技术实现思路
[0004]本说明书实施例提供了一种基于纠删码的数据并行重构方法及系统。
[0005]一方面，本说明书实施例提供的一种基于纠删码的数据并行重构方法，包括：
[0006]基于存活的节点确定待重构数据；
[0007]基于设...
【技术保护点】
【技术特征摘要】
1.一种基于纠删码的数据并行重构方法，其特征在于，所述方法包括：基于存活的节点确定待重构数据；基于设置的任务分发器，将所述待重构数据的重构任务划分为至少两个子重构任务，并对应分配给设置的至少两个任务执行器；基于设置的至少两个任务执行器，在接收由所述任务分发器分配的子重构任务后，并行处理所述子重构任务；将重构完成数据写入新的节点。2.根据权利要求1所述的基于纠删码的数据并行重构方法，其特征在于，基于所述任务执行器，在接收到对应的所述子重构任务之后，将所述子重构任务划分为至少两个不同的分条组，并基于重构线程对所述至少两个不同的分条组进行并行重构。3.根据权利要求2所述的基于纠删码的数据并行重构方法，其特征在于，当所述子重构任务被处理完成后，基于对应的任务执行器通知所述任务分发器，用于使所述任务分发器向所述任务执行器分配新的子重构任务。4.一...
【专利技术属性】
技术研发人员：管太阳，
申请(专利权)人：深圳创新科技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。