【技术实现步骤摘要】
一种可协调的纠删码修复方法、装置及可读介质
[0001]本专利技术涉及分布式存储领域，具体涉及一种可协调的纠删码修复方法、装置及可读介质。
技术介绍
[0002]随着大数据时代的到来，数据量的激增导致本应是偶然的故障现在变得司空见惯。分布式存储系统依靠数据冗余实现数据容错，纠删码是一种低成本的冗余方案，在不降低数据容错能力的情况下，显著地减少了系统的存储开销。纠删码对一些大小固定的块进行编码以生成一些冗余块。即使缺失部分块，纠删码仍可用幸存块恢复出原始数据。在减小系统存储开销的同时，纠删码也不可避免地放大了修复流量，因为在纠删码中修复单个块需要从远程节点取回多个幸存块。放大的修复流量很容易导致冗长的修复过程，并使系统容易受到后续故障的影响。
[0003]纠删码研究者为促进数据修复做出了巨大的努力，现有的研究方法主要可以分为以下几类：
[0004](1)构建修复高效的纠删码，此类纠删码可以在理论上减少纠删码所需的修复流量。
[0005](2)设计纠删码调度算法，使纠删码修复并行化，从而在不改变修复流量的...
【技术保护点】
【技术特征摘要】
1.一种可协调的纠删码修复方法，其特征在于，包括以下步骤：S1，获取集群中各个节点的带宽使用情况，并确定集群的失效节点中的失效块，将集群的失效节点中每个失效块的修复方案分解为多个修复任务，包括上传任务和下载任务，根据带宽使用情况将所述上传任务和下载任务分配给所述集群中各个幸存节点，得到第一分配方案；S2，基于上传任务与下载任务的匹配对所述第一分配方案进行调整，得到第二分配方案；S3，在修复过程中，根据所述第二分配方案中每个幸存节点所分配的上传任务与下载任务的数量以及监测到的每个幸存节点的带宽使用情况监控修复进度；S4，根据所述修复进度采用掉队者感知重调机制调整所述修复任务的传输顺序和执行位置。2.根据权利要求1所述的可协调的纠删码修复方法，其特征在于，所述步骤S1中获取集群中各个节点的带宽使用情况，并确定集群的失效节点中的失效块，具体包括：每个阶段间隔时间T统计监测器监测到的每个节点的带宽使用情况，所述带宽使用情况包括实时下载带宽和实时上传带宽；响应于所述集群中存在失效节点，并接收到修复请求，通过查询条带放置信息，得到集群中条带的放置情况及需要修复的失效块。3.根据权利要求2所述的可协调的纠删码修复方法，其特征在于，所述集群的失效节点中的每个失效块的修复方案为k个上传任务与k个下载任务的组合，并且每隔时间T对所述上传任务和下载任务进行分配，所述幸存节点中所分配的上传任务的数量至多为1个，所分配的下载任务的数量为0个或1个及以上。4.根据权利要求1所述的可协调的纠删码修复方法，其特征在于，所述步骤S1中根据带宽使用情况将所述上传任务和下载任务分配给所述集群中各个幸存节点，得到第一分配方案，具体包括：将所述集群中不包含所述失效块所在条带中的数据块与冗余块且预计下载时间最小的幸存节点作为目的放置节点，所述预计下载时间为该幸存节点中已分配的下载任务的数量与实时下载带宽的比值，在所述目的放置节点中分配1个下载任务；将剩余的k
‑
1个下载任务分配至包含所述失效块所在条带中的数据块与冗余块所对应的幸存节点以及所述目的放置节点中，在分配过程中若被分配下载任务的幸存节点并未被分配上传任务且其不为所述目的放置节点，则为其分配一个上传任务，得到若干个分配方案；遍历每个分配方案，并计算每个分配方案中每个幸存节点的预计修复时间，所述预计修复时间为预计下载时间和预计上传时间中的最大值，所述预计上传时间为该幸存节点中已分配的上传任务的数量与实时上传带宽的比值，选择每个分配方案中所有幸存节点中预计修复时间的最大值作为最大预计修复时间；选择若干个分配方案中最大预计修复时间最小的分配方案作为初始分配方案；在所述初始分配方案中，响应于确定存在剩余的未被分配的上传任务，则在包含所述失效块所在条带中的数据块与冗余块所对应的幸存节点中找到未被分配上传任务且拥有最小预计上传时间的幸存节点，分配剩余的未被分配的上传任务，得到所述第一分配方案。
5.根据权利要求1所述的可协调的纠删码修复方法，其特征在于，所述步骤S2中具体包括：S21，在所述第一分配方案中选取下载任务数为0且不为目的放置节点的幸存节点作为修复的起始节点，将所述起始节点放入第一节...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。