并行化的网络聚合修复方法、系统和设备技术方案

本申请涉及并行化的网络聚合修复方法、系统和设备，该方法包括：帮助器将相关存储块拆分为多个子块并分别分配给相应的多条树形流水线对应的发送队列；根据树形流水线的传输吞吐量，将相应发送队列中的子块打包成相应ACP报文后发送至下一节点；下一节点根据ACP报文携带的子块处理标识、子块相应的树形流水线的专属标识号以及序列号，对ACP报文进行聚合处理后送往后续节点或将ACP报文转发至后续节点；当帮助器完成相关存储块的传输时，在各树形流水线的末端收集数据的请求者根据各专属标识号，将收到的所有ACP报文解包成各子块后生成修复块用于修复失效存储块。大幅提高了失效存储块修复性能。效存储块修复性能。效存储块修复性能。

【技术实现步骤摘要】
并行化的网络聚合修复方法、系统和设备


[0001]本专利技术属于纠删码存储系统的数据块修复
，涉及一种并行化的网络聚合修复方法、系统和设备。

技术介绍

[0002]纠删码(EC)是一种低成本的容错机制，被许多分布式存储系统(DSS)广泛采用，与基于复制的容错设计相比，基于纠删码的容错方案为分布式存储系统节省了大量的空间开销。当基于纠删码的DSS遇到节点故障时，修复失效的存储块(称为降级读)需要从其他存储节点检索许多相关的存储块，这导致巨大的广播流量。未解决该难题，本领域中主要是利用部分参与的存储节点聚合其他节点上相关的存储块，从而减少发送数据的总量。
[0003]基于此，传统的修复工作可以大致分为两类，即块级别的调度方案和流水线方案，前者侧重于调度何时以及在何处使用incast树调度相关存储块，以避免潜在的网络瓶颈；后者则是将一些中间节点上的多个小块单元聚合为一个单元，然后将它们发送到下一跳，以避免入口链路瓶颈的问题。随着研究的深入，可编程交换机和网络内计算技术的出现，也给纠删码存储系统中失效修复的策略改进提供了新的契机，基于此已出现了构建多个并行的树状流水线来提高修复性能，同时利用路由路径上的中间节点(如交换机或服务器)来聚合相关数据，以避免incast传输等网内聚合的修复技术。然而，在实现本专利技术的过程中，专利技术人发现前述传统的修复技术仍然存在着修复性能不足的技术问题。

技术实现思路

[0004]针对上述传统方法中存在的问题，本专利技术提出了一种能够大幅提高失效存储块修复性能的并行化的网络聚合修复方法、一种并行化的网络聚合修复系统、一种计算机设备和一种计算机可读存储介质。
[0005]为了实现上述目的，本专利技术实施例采用以下技术方案：
[0006]一方面，提供一种并行化的网络聚合修复方法，包括步骤：
[0007]帮助器将相关存储块拆分为多个子块并分别分配给相应的多条树形流水线对应的发送队列；每条树形流水线均采用专属标识号和自身的传输吞吐量进行标识；
[0008]根据树形流水线的传输吞吐量，将相应发送队列中的子块打包成相应ACP报文后发送至下一节点；ACP报文携带子块处理标识、子块相应的树形流水线的专属标识号以及为子块分配的序列号，子块处理标识包括聚合标识或转发标识；
[0009]下一节点根据子块处理标识、子块相应的树形流水线的专属标识号以及序列号，对ACP报文进行聚合处理后送往后续节点或将ACP报文转发至后续节点；
[0010]当帮助器完成相关存储块的传输时，在各树形流水线的末端收集数据的请求者根据各专属标识号，将收到的所有ACP报文解包成各子块后生成修复块；
[0011]请求者利用修复块修复失效存储块。
[0012]另一方面，还提供一种并行化的网络聚合修复系统，包括帮助器、中间各节点和请
求者，在收到协调器的修复指令后，帮助器将相关存储块拆分为多个子块并分别分配给相应的多条树形流水线对应的发送队列；每条树形流水线均采用专属标识号和自身的传输吞吐量进行标识；
[0013]根据树形流水线的传输吞吐量，帮助器将相应发送队列中的子块打包成相应ACP报文后发送至下一节点；ACP报文携带子块处理标识、子块相应的树形流水线的专属标识号以及为子块分配的序列号，子块处理标识包括聚合标识或转发标识；
[0014]下一节点根据子块处理标识、子块相应的树形流水线的专属标识号以及序列号，对ACP报文进行聚合处理后送往后续节点或将ACP报文转发至后续节点；
[0015]当帮助器完成相关存储块的传输时，在各树形流水线的末端收集数据的请求者根据各专属标识号，将收到的所有ACP报文解包成各子块后生成修复块，请求者利用修复块修复失效存储块。
[0016]又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的并行化的网络聚合修复方法的步骤。
[0017]再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的并行化的网络聚合修复方法的步骤。
[0018]上述技术方案中的一个技术方案具有如下优点和有益效果：
[0019]上述并行化的网络聚合修复方法、系统和设备，对于提供相关存储块的各帮助器，通过帮助器将相关存储块拆分为多个子块后采用Paint构建的多个并行树状流水线进行并行传输，在传输过程中每个子块都以ACP报文的数据包形式传输，由于每个树状流水线都有其专属标识号，因此每个ACP报文中也相应携带了子块来自的树状流水线的专属标识号，并且每个ACP报文中携带了子块处理标识以区分该ACP报文是需要进行子块数据聚合后再传输的信息包，还是不需要聚合而直接转发的普通信息包，同时每个ACP报文中还携带了为子块分配的序列号。
[0020]因此，对于树状流水线上的任意节点而言，在收到前一节点传来的ACP报文后，紧邻前一节点的下一节点均可首先根据ACP报文中携带的子块处理标识来区分该ACP报文是需要聚合后传输的信息包，还是直接转发的信息包，如果是需要聚合后传输的信息包则根据ACP报文中携带的专属标识号以及序列号，该下一节点将收到的来自相同树状流水线且序列号相同的ACP报文聚合后再送往后续节点，否则直接将ACP报文直接转发后续节点。请求者在各树形流水线的末端收集数据，当所有帮助器完成相关存储块的传输时，请求者根据专属标识号组装接收到的所有子块，从而重新生成修复块以完成失效存储块的修复。
[0021]相比于传统技术，上述方案利用Paint通过构建多个并行的树状流水线来提高修复性能，同时利用路由路径上的中间节点(如交换机或服务器)来聚合相关数据，以避免incast传输，在此基础上，提出来聚合控制协议ACP来管理不同修复流水线，解决并行网络修复所面临的报文识别、可靠性和速率控制等问题，从而达到大幅提高失效存储块修复性能的目的。
附图说明
[0022]为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为纠删码编码过程示意图；
[0024]图2为一个实施例中并行化的网络聚合修复方法的流程示意图；
[0025]图3为另一个实施例中并行化的网络聚合修复方法的流程示意图；
[0026]图4为一个实施例中Paint修复网络的概览示意图；
[0027]图5为一个实施例中ACP报文的组成示意图；
[0028]图6为一个实施例中待修复失效存储块的示例示意图；
[0029]图7为一个实施例中失效存储块的修复示例示意图；
[0030]图8为一个实施例中在可编程交换机上部署网内聚合的示例示意图；
[0031]图9为一个实施例中Paint两条并行化流水线的性能示意图，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种并行化的网络聚合修复方法，其特征在于，包括步骤：帮助器将相关存储块拆分为多个子块并分别分配给相应的多条树形流水线对应的发送队列；每条所述树形流水线均采用专属标识号和自身的传输吞吐量进行标识；根据所述树形流水线的传输吞吐量，将相应所述发送队列中的子块打包成相应ACP报文后发送至下一节点；所述ACP报文携带子块处理标识、子块相应的所述树形流水线的专属标识号以及为子块分配的序列号，所述子块处理标识包括聚合标识或转发标识；所述下一节点根据所述子块处理标识、子块相应的所述树形流水线的专属标识号以及所述序列号，对所述ACP报文进行聚合处理后送往后续节点或将所述ACP报文转发至后续节点；当所述帮助器完成所述相关存储块的传输时，在各所述树形流水线的末端收集数据的请求者根据各所述专属标识号，将收到的所有所述ACP报文解包成各子块后生成修复块；所述请求者利用所述修复块修复失效存储块。2.根据权利要求1所述的并行化的网络聚合修复方法，其特征在于，所述ACP报文包括UDP报文头、Magic字段、PipeID字段、BlockID字段和Payload字段，所述Magic字段用于记录所述聚合标识或所述转发标识，所述聚合标识用于向节点指示当前ACP报文为需要聚合的信息包，所述转发标识用于向节点指示当前ACP报文为直接转发的普通信息包；所述PipeID字段用于记录子块相应的所述树形流水线的专属标识号，所述BlockID字段用于记录为子块分配的序列号，所述Payload字段用于记录子块的数据。3.根据权利要求1或2所述的并行化的网络聚合修复方法，其特征在于，对所述ACP报文进行聚合处理后送往后续节点的过程，包括：所述下一节点在收到一个具有新的所述序列号的所述ACP报文时，对所述ACP报文进行临时存储；当具有相同所述树形流水线的专属标识号和所述序列号的所述ACP报文的临时存储数量达到设定值时，所述下一节点将临时存储的各所述ACP报文聚合后送往后续节点。4.根据权利要求3所述的并行化的网络聚合修复方法，其特征在于，所述方法还包括：接收方在收到设定数量的所述ACP报文后，发送多条确认消息通知所有发送方；所述接收方为所述请求者，所述发送方为各所述帮助器；各所述发送方收到所述确认消息后，继续发送下一批所述设定数量的所述ACP报文。5.根据权利要求4所述的并行化的网络聚合修复方法，其特征在于，所述方法还包括：当所述接收方在设定时长没有收到所述设定数量的所述ACP报文时，触发计时器超时并指示所有所述发送方重新发送所述设定数量的所述ACP报文；每个所述发送方在重新发送所述ACP报文前，分别通过相应所述树形流水线发送一个特定ACP报文；所述特定ACP报文用于指示相应所述树形流水线上的中间节点清除此前存储...

【专利技术属性】
技术研发人员：罗来龙，夏俊旭，郭得科，孙博文，程葛瑶，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：