一种数据处理方法、交换节点及相关系统技术方案

技术编号:43896124 阅读:21 留言:0更新日期:2025-01-03 13:09
本申请提供一种数据处理方法、交换节点及相关系统,应用于包括多个计算节点和至少一个第一交换节点的分布式计算系统,其中每个第一交换节点与多个计算节点中的至少一个计算节点连接,第一交换节点在接收到计算节点的控制信息后,基于接收到的控制信息建立组播任务,该组播任务包括组播目的信息,然后第一交换节点根据组播任务获取组播数据,根据组播任务向计算节点发送所述组播数据。在该分布式计算系统中,多个计算节点在执行需要组播的业务时,不需要提前配置相关组播信息,而是在需要组播时,由参与组播的计算节点向交换节点发送控制信息,由交换节点基于控制信息建立组播任务进而完整组播,能够简化实现组播时的控制面流程,提高组播效率。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种数据处理方法、交换节点及相关系统


技术介绍

1、随着高性能计算(high performance computing,hpc)场景下的任务计算规模越来越大,多节点之间的通信在hpc应用中的占比显著提升,尤其是广播(broadcast)和组播(multicast)等。例如,在高性能linpack(the high-performance linpack,hpl)基准测试(benchamark)中,主要的通信就是组播,且每次组播的数据量巨大,因此如何实现多个节点之间的组播是hpc任务中亟待解决的技术问题。


技术实现思路

1、本申请提供一种数据处理方法、交换节点及相关系统,在能够简化分布式系统中需要实现组播时的控制面流程,提高组播效率。

2、第一方面,本申请提供一种数据处理方法,应用于包括多个计算节点和至少一个第一交换节点的分布式计算系统,其中,每个第一交换节点与上述多个计算节点中的部分或全部计算节点连接。分布式计算系统在执行业务的过程中,第一交换节点会接收至少一个计算节本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,应用于分布式计算系统,所述分布式计算系统包括多个计算节点和至少一个第一交换节点,所述至少一个第一交换节点中的每个第一交换节点与所述多个计算节点中的部分或全部计算节点连接,其中,

2.根据权利要求1所述的方法,其特征在于,第一交换节点连接有组播源,所述组播源发送的控制信息中还包括组播数据的地址信息;所述第一交换节点建立的组播任务包括所述组播数据的地址信息;其中,所述组播源为所述多个计算节点中的一个;

3.根据权利要求1所述的方法,其特征在于,所述分布式计算系统还包括第二交换节点,所述第二交换节点与所述第一交换节点连接,所述方法还包括...

【技术特征摘要】

1.一种数据处理方法,其特征在于,应用于分布式计算系统,所述分布式计算系统包括多个计算节点和至少一个第一交换节点,所述至少一个第一交换节点中的每个第一交换节点与所述多个计算节点中的部分或全部计算节点连接,其中,

2.根据权利要求1所述的方法,其特征在于,第一交换节点连接有组播源,所述组播源发送的控制信息中还包括组播数据的地址信息;所述第一交换节点建立的组播任务包括所述组播数据的地址信息;其中,所述组播源为所述多个计算节点中的一个;

3.根据权利要求1所述的方法,其特征在于,所述分布式计算系统还包括第二交换节点,所述第二交换节点与所述第一交换节点连接,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述分布式计算系统还包括第二交换节点,所述第二交换节点与所述第一交换节点连接,所述方法还包括:

5.根据权利要求2-4任一项所述的方法,其特征在于,所述第一交换节点包括处理单元和多个端口,所述多个端口形成链式通路。

6.根据权利要求5所述的方法,其特征在于,所述根据所述组播任务向所述至少一个计算节点发送所述组播数据,包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:所述第一端口向所述链式通路的下一个端口发送所述组播数据。

8.根据权利要求5所述的方法,其特征在于,所述根据所述组播任务向所述至少一个计算节点发送所述组播数据,包括:

9.根据权利要求6或7所述的方法,其特征在于,所述组播任务还包括各个组播目的的地址信息;所述方法还包括:

10.根据权利要求9所述的方法,其特征在于,所述报文头包括第一标签,所述组播数据包括第二标签;

11.根据权利要求2-10任一项所述的方法,其特征在于,组播目的发送的控制信息还包括第一数量信息,所述第一数量信息用于指示所述第一交换节点连接的组播目的的数量;

12.根据权利要求3所述的方法,其特征在于,所述组播目的发送的控制信息还包括第一数量信息,所述第一数量信息用于指示所述第一交换节点连...

【专利技术属性】
技术研发人员:陈天翔谢尚港徐捷
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1