本申请涉及一种面向分布式应用程序的通用网内同步聚合方法、系统及设备。所述方法包括：获取应用程序的聚合任务请求。根据聚合任务请求与预设的调度策略确定目标任务的聚合器资源与执行顺序，通过控制器为每一个聚合器资源分配隔离区域，并设置隔离区域对应的偏移量规则，将隔离区域与偏移量规则写入控制器的聚合表中，得到聚合规则。交换机根据执行顺序与聚合规则接收发送方发送的数据包序列，并将其定位至聚合表中，得到匹配的聚合器。通过聚合器将数据包序列进行合并，得到结果数据包，将结果数据包发送至接收方。采用本方法能够实现数据平面资源和路径的自动分配和运行时调度，并有效降低交换机的资源开销。
【技术实现步骤摘要】
本申请涉及通用网内聚合，特别是涉及一种面向分布式应用程序的通用网内同步聚合方法、系统及设备。
技术介绍
1、在可编程网络设备的推动下，提出了一种新的通信和计算范式，称为网内聚合(ina)，并将ina应用于多种分布式系统，包括分布式训练(dt)、高性能计算(hpc)、分布式块存储和网络监控。ina将数据流的聚合工作卸载到交换机上，以减少业务量和整体作业完成时间。现有的原型已经显示了ina的性能提升，例如在dt作业中提升66％，在存储中提升2.7-6.8倍。
2、虽然ina已经在单个应用程序中证明了它的成功，但应用程序和ina功能的紧密耦合会导致诸如冗余开发、无法在运行时更新、潜在安全风险和资源利用效率低下等问题。这些问题阻碍了在开发、部署和操作中广泛采用ina，无法实现多个分布式应用程序并行复用。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够降低分布式应用程序并行复用时，降低交换机资源开销的面向分布式应用程序的通用网内同步聚合方法、系统及设备。
2、一种面向分布式应用程序的通用网内同步聚合方法，应用于分布式应用程序共享集群通用网络架构中，所述方法包括：
3、获取应用程序的聚合任务请求。
4、根据聚合任务请求与预设的调度策略确定目标任务的聚合器资源与目标任务的执行顺序，通过控制器为每一个聚合器资源分配隔离区域，并设置隔离区域对应的偏移量规则，将隔离区域与隔离区域对应的偏移量规则写入控制器的聚合表中，得到聚合规则。
5、交换机根据执行顺序与聚合规则接收目标任务的发送方发送的数据包序列，并将数据包序列定位至聚合表，得到数据包序列匹配的聚合器。
6、通过聚合器将数据包序列进行合并，得到结果数据包，将结果数据包发送至目标任务的接收方，接收方根据结果数据包回复ack报文序列，并通过交换机组播同步回传至发送方。
7、在其中一个实施例中，还包括：分布式应用程序共享集群通用网络架构中，根据路由协议生成目标任务的发送方到接收方的通信路径，应用程序对应的服务器、控制器以及交换机根据通信路径形成聚合层次结构。多个应用程序发送聚合任务请求至本地代理，多个本地代理将聚合任务请求并行发送至控制器。
8、在其中一个实施例中，还包括：根据聚合任务请求与控制器预设的调度策略确定目标任务的聚合器资源与目标任务的执行顺序，控制器根据执行顺序为目标任务设置执行任务交换机。在执行任务交换机上，控制器为每一个聚合器资源分配隔离区域，并设置隔离区域的偏移量规则，将隔离区域与所述隔离区域对应的偏移量规则写入控制器的聚合表中，得到目标任务的聚合规则。
9、在其中一个实施例中，还包括：目标任务的发送方将目标任务数据块分成数据包序列，并在维护的窗口中发送数据包序列至交换机。
10、在其中一个实施例中，还包括：交换机根据执行顺序收目标任务的发送方发送的数据包序列，并根据数据包序列的序号与偏移量规则在聚合表上进行寻址定位：
11、aggregator.index←packet.seq_num+offset
12、其中，aggregator.index为隔离区域的索引，packet.seq_num为数据包序列的序号，offset为偏移量规则。获取数据包序列的序号对应的隔离区域内的聚合器。
13、在其中一个实施例中，还包括：通过聚合器合并相同报文序列号的数据包序列，得到结果数据包，将结果数据包发送至目标任务的接收方，接收方根据结果数据包回复报文ack报文序列，ack报文序列到达交换机时，根据目标任务的数量与聚合层次结构组成的交换机组清除每一个目标任务对应的聚合器，并回传ack报文序列至目标任务对应的发送方。
14、在其中一个实施例中，聚合任务请求包括：目标任务id、目标任务的发送方id、目标任务的接收方id、聚合函数以及聚合类型。聚合类型包括：reduce与allreduce。
15、在其中一个实施例中，还包括：若聚合类型为reduce，则接收方将ack报文序列重组为反馈消息，反馈消息作为聚合结果由控制器传输至发送方的本地代理。若聚合类型为allreduce，则发送方将ack报文序列的有效负载重组为反馈消息，反馈消息作为聚合结果由控制器传输至发送方的本地代理。本地代理通过ipc将聚合结果返回至启动目标任务的应用程序。
16、一种面向分布式应用程序的通用网内同步聚合系统，所述系统包括：
17、聚合任务请求获取模块，用于获取应用程序的聚合任务请求。
18、聚合规则获取模块，用于根据聚合任务请求与预设的调度策略确定目标任务的聚合器资源与目标任务的执行顺序，通过控制器为每一个聚合器资源分配隔离区域，并设置隔离区域对应的偏移量规则，将隔离区域与隔离区域对应的偏移量规则写入控制器的聚合表中，得到聚合规则。
19、聚合器匹配模块，用于交换机根据执行顺序与聚合规则接收目标任务的发送方发送的数据包序列，并将数据包序列定位至聚合表，得到数据包序列匹配的聚合器。
20、聚合模块，用于通过聚合器将数据包序列进行合并，得到结果数据包，将结果数据包发送至目标任务的接收方，接收方根据结果数据包回复ack报文序列，并通过交换机组播同步回传至发送方。
21、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
22、获取应用程序的聚合任务请求。
23、根据聚合任务请求与预设的调度策略确定目标任务的聚合器资源与目标任务的执行顺序，通过控制器为每一个聚合器资源分配隔离区域，并设置隔离区域对应的偏移量规则，将隔离区域与隔离区域对应的偏移量规则写入控制器的聚合表中，得到聚合规则。
24、交换机根据执行顺序与聚合规则接收目标任务的发送方发送的数据包序列，并将数据包序列定位至聚合表，得到数据包序列匹配的聚合器。
25、通过聚合器将数据包序列进行合并，得到结果数据包，将结果数据包发送至目标任务的接收方，接收方根据结果数据包回复ack报文序列，并通过交换机组播同步回传至发送方。
26、上述面向分布式应用程序的通用网内同步聚合方法、装置、计算机设备和存储介质，首先获取应用程序的聚合任务请求，这表示它可以根据应用程序的需求进行动态调整和响应，以实现高效的数据聚合。使用预设的调度策略来确定目标任务的聚合器资源和执行顺序，这意味着它可以根据不同的策略来优化数据聚合，以满足不同应用场景的需求，通过控制器为每个聚合器资源分配隔离区域，并设置相应的偏移量规则，使得资源可以有效利用，以及对数据包的精确控制。交换机根据执行顺序和聚合规则来处理发送方发送的数据包序列，确保了数据包的正确路由和聚合，从而降低了资源开销。聚合器将数据包序列号进行合并，得到结果数据包，然后将其发送给目标任务的接收方。进一步高效地处理和合并数据，减少了通信开销。接收方根据结果数据包回复ac本文档来自技高网
...
【技术保护点】
1.一种面向分布式应用程序的通用网内同步聚合方法，其特征在于，应用于分布式应用程序共享集群通用网络架构中；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在获取应用程序的聚合任务请求的步骤之前，还包括：
3.根据权利要求2所述的方法，其特征在于，根据所述聚合任务请求与预设的调度策略确定目标任务的聚合器资源与所述目标任务的执行顺序，通过控制器为每一个聚合器资源分配隔离区域，并设置所述隔离区域对应的偏移量规则，将所述隔离区域与所述隔离区域对应的所述偏移量规则写入所述控制器的聚合表中，得到聚合规则，包括：
4.根据权利要求3所述的方法，其特征在于，在交换机根据所述执行顺序与所述聚合规则接收所述目标任务的发送方发送的数据包序列，并将所述数据包序列定位至所述聚合表，得到所述数据包序列匹配的聚合器的步骤之前，还包括：
5.根据权利要求4所述的方法，其特征在于，交换机根据所述执行顺序与所述聚合规则接收所述目标任务的发送方发送的数据包序列，并将所述数据包序列定位至所述聚合表，得到所述数据包序列匹配的聚合器，包括：
6.根据权利要求5所述的方法，其特征在于，通过所述聚合器将所述数据包序列进行合并，得到结果数据包，将所述结果数据包发送至所述目标任务的接收方，所述接收方根据所述结果数据包回复ACK报文序列，并通过交换机组播同步回传至所述发送方，包括：
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述聚合任务请求包括：目标任务ID、所述目标任务的发送方ID、所述目标任务的接收方ID聚合函数以及聚合类型；
8.根据权利要求7所述的方法，其特征在于，在所述接收方根据所述结果数据包回复ACK报文序列，并通过交换机组播同步回传至所述发送方的步骤之后，还包括：
9.一种面向分布式应用程序的通用网内同步聚合系统，其特征在于，所述系统包括：
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
...
【技术特征摘要】
1.一种面向分布式应用程序的通用网内同步聚合方法，其特征在于，应用于分布式应用程序共享集群通用网络架构中；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在获取应用程序的聚合任务请求的步骤之前，还包括：
3.根据权利要求2所述的方法，其特征在于，根据所述聚合任务请求与预设的调度策略确定目标任务的聚合器资源与所述目标任务的执行顺序，通过控制器为每一个聚合器资源分配隔离区域，并设置所述隔离区域对应的偏移量规则，将所述隔离区域与所述隔离区域对应的所述偏移量规则写入所述控制器的聚合表中，得到聚合规则，包括：
4.根据权利要求3所述的方法，其特征在于，在交换机根据所述执行顺序与所述聚合规则接收所述目标任务的发送方发送的数据包序列，并将所述数据包序列定位至所述聚合表，得到所述数据包序列匹配的聚合器的步骤之前，还包括：
5.根据权利要求4所述的方法，其特征在于，交换机根据所述执行顺序与所述聚合规则接收所述目标任务的发送方发送的数据包序列，并将所述数据...
【专利技术属性】
技术研发人员：任棒棒，夏俊旭，郭得科，罗来龙，程葛瑶，张千桢，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。