分布式数据处理方法及装置、计算机存储介质及电子设备制造方法及图纸

技术编号:45013624 阅读:12 留言:0更新日期:2025-04-18 16:58
本公开提供了一种分布式数据处理方法、装置、电子设备和计算机存储介质,涉及分布式数据处理技术领域。该方法包括:从2N+1个计算节点中确定2N个计算节点,将剩余的计算节点作为排除节点;从2N个计算节点中确定合并节点,合并节点与排除节点连接,以合并排除节点的数据;以2N个计算节点形成双向环,进行双向环全归约数据处理,其中,在每一时间步的处理时,合并节点接收并聚合来自排除节点和来自父节点的数据。该方法通过从奇数个节点中确定偶数个节点形成双向环,通过合并节点处理排除节点的数据,实现了双向环全归约计算处理,提高了链路利用率。

【技术实现步骤摘要】

所属的技术人员能够理解,本专利技术的各个方面可以实现为系统、方法或程序产品。因此,本专利技术的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。下面参照图8来描述根据本专利技术的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例,不应对本专利技术实施例的功能和使用范围带来任何限制。如图8所示,电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于:上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830。其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元810执行,使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本专利技术各种示例性实施方式的步骤。例如,所述处理单元810可以执行如图2中所示的s202,从2n+1个计算节点中确定2n个计算节点,将剩余的计算节点作为排除节点;s204,从所述2n个计算节点中确定合并节点,所本文档来自技高网...

【技术保护点】

1.一种分布式数据处理方法,应用于分布式网络,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述合并节点包括第一合并节点和第二合并节点,分别对应进行第一方向和第二方向全归约数据处理的合并节点。

3.根据权利要求1所述的方法,其特征在于,所述合并节点为一个计算节点,用于处理第一方向和第二方向全归约数据处理。

4.根据权利要求1至3中任意一项所述的方法,其特征在于,所述2N+1计算节点的数据分为第一部分和第二部分;且所述第一部分和所述第二部分分别划分为2N份;

5.根据权利要求4所述的方法,其特征在于,所述从2N+1个计...

【技术特征摘要】

1.一种分布式数据处理方法,应用于分布式网络,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述合并节点包括第一合并节点和第二合并节点,分别对应进行第一方向和第二方向全归约数据处理的合并节点。

3.根据权利要求1所述的方法,其特征在于,所述合并节点为一个计算节点,用于处理第一方向和第二方向全归约数据处理。

4.根据权利要求1至3中任意一项所述的方法,其特征在于,所述2n+1计算节点的数据分为第一部分和第二部分;且所述第一部分和所述第二部分分别划分为2n份;

5.根据权利要求...

【专利技术属性】
技术研发人员:王磊
申请(专利权)人:中国电信股份有限公司技术创新中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1