数据处理网络系统、数据处理网络部署系统及其方法技术方案

本发明专利技术公开了一种数据处理网络系统、数据处理网络部署系统及其方法。所述数据处理网络系统包括：前向数据处理网络，其包括多个前向数据处理子网络；后向数据处理网络，其包括多个后向数据处理子网络；以及一个或多个前向数据处理过渡网络，其中所述成对的前向数据处理子网络和后向数据处理子网络中的前向数据处理子网络的数据处理源节点的输出端和后向数据处理子网络的数据处理源节点输入端分别作为述所述前向数据处理过渡网络的数据处理源节点的输入端之一，以及所述前向数据处理过渡网络的数据处理汇节点的输出端作为所述成对的前向数据处理子网络和后向数据处理子网络中的后向数据处理子网络的数据处理源节点的输入端之一。输入端之一。输入端之一。

【技术实现步骤摘要】
数据处理网络系统、数据处理网络部署系统及其方法


[0001]本公开涉及一种数据处理技术。更具体地说，本公开涉及一种数据处理网络系统、数据处理网络部署系统及其方法。

技术介绍

[0002]在深度学习普及的现在，越来越多的模型以及规模越来越大的数据使得深度学习的训练已经不能在单台计算设备上实现。为此人们提出了分布式计算。随着分布式计算的普及，大型的作业或大张量会通过分割而将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理，并在各个部分计算过程需要进行中间参数的交互。这样，在具体作业的处理过程中，整个数据处理过程通常包含了前向数据处理和后向数据处理。后向数据处理常常需要采用前向数据处理过程中产生的中间参数，而后向数据处理在前向数据处理之后，因此，前向数据处理过程中产生的中间参数常常需要在对应使用这些中间参数的后向数据处理之前一直存储于指定的存储空间。这在深度学习对存储空间要求比较大的情况下，长时间占用存储空间是对存储空间的极大浪费。这对存储空间固定的数据处理系统而言，将极大降低数据处理系统的数据处理能力。
[0003]因此，人们需要一种能够在数据处理网络系统的存储空间有限的情况下，提高数据处理网络系统的处理能力的方法和系统。

技术实现思路

[0004]本专利技术的一个目的是解决至少上述问题，具体而言，本公开提供一种数据处理网络系统，包括：前向数据处理网络，用于执行前向数据处理，其包括多个前向数据处理子网络，每个子网络都由多个数据处理节点构成，每个数据处理节点都使用其上游数据处理节点产生的数据执行数据处理，并向其下游数据处理节点输出数据；后向数据处理网络，用于执行后向数据处理，其包括多个后向数据处理子网络；以及一个或多个前向数据处理过渡网络，每个前向数据处理过渡网络处于一对前向数据处理子网络和后向数据处理子网络之间并隔断两者的连接，并且所述前向数据处理过渡网络与其所处的成对的前向数据处理子网络和后向数据处理子网络中的前向数据处理子网络具有相同的网络结构，其中所述成对的前向数据处理子网络和后向数据处理子网络中的前向数据处理子网络的数据处理源节点的输出端和后向数据处理子网络的数据处理源节点输入端分别作为述所述前向数据处理过渡网络的数据处理源节点的输入端之一，以及所述前向数据处理过渡网络的数据处理汇节点的输出端作为所述成对的前向数据处理子网络和后向数据处理子网络中的后向数据处理子网络的数据处理源节点的输入端之一，从而在所述成对的前向数据处理子网络和后向数据处理子网络中的后向数据处理子网络在即将执行后向数据处理之前，所述前向数据处理过渡网络基于所述后向数据处理子网络即将执行后向数据处理的消息执行过渡前向数据处理以便为所述成对的前向数据处理子网络和后向数据处理子网络中的后向数据处理子网络执行后向数据处理准备输入数据。
[0005]根据本公开的数据处理网络系统，其中所述前向数据处理过渡网络的数据处理源节点与前向数据处理子网络的数据处理源节点共享同一内存单元。
[0006]根据本公开的数据处理网络系统，其中所述后向数据处理子网络即将执行后向数据处理的消息为与所述后向数据处理子网络的数据处理源节点相连的一个或多个上游后向数据处理节点的输出端发出的后向数据处理结束的消息。
[0007]根据本公开的另一个方面，提供了一种数据处理方法，包括：通过包括多个前向数据处理子网络的前向数据处理网络执行前向数据处理，每个子网络都由多个数据处理节点构成，每个数据处理节点都使用其上游数据处理节点产生的数据执行数据处理，并向其下游数据处理节点输出数据；通过包括多个后向数据处理子网络的后向数据处理网络执行后向数据处理；以及通过一个或多个前向数据处理过渡网络执行过渡前向数据处理，其中每个前向数据处理过渡网络处于一对前向数据处理子网络和后向数据处理子网络之间并隔断两者的连接，并且所述前向数据处理过渡网络与其所处的成对的前向数据处理子网络和后向数据处理子网络中的前向数据处理子网络具有相同的网络结构，所述成对的前向数据处理子网络和后向数据处理子网络中的前向数据处理子网络的数据处理源节点的输出端和后向数据处理子网络的数据处理源节点输入端分别作为述所述前向数据处理过渡网络的数据处理源节点的输入端之一，以及所述前向数据处理过渡网络的数据处理汇节点的输出端作为所述成对的前向数据处理子网络和后向数据处理子网络中的后向数据处理子网络的数据处理源节点的输入端之一，从而在所述成对的前向数据处理子网络和后向数据处理子网络中的后向数据处理子网络在即将执行后向数据处理之前，所述前向数据处理过渡网络基于所述后向数据处理子网络即将执行后向数据处理的消息执行过渡前向数据处理以便为所述成对的前向数据处理子网络和后向数据处理子网络中的后向数据处理子网络执行后向数据处理准备输入数据。
[0008]根据本公开的数据处理方法，其中所述前向数据处理过渡网络的数据处理源节点与前向数据处理子网络的数据处理源节点共享同一内存单元。
[0009]根据本公开的数据处理方法，其中所述后向数据处理子网络即将执行后向数据处理的消息为与所述后向数据处理子网络的数据处理源节点相连的一个或多个上游后向数据处理节点的输出端发出的后向数据处理结束的消息。
[0010]根据本公开的另一个方面，提供了一种数据处理网络的部署系统，包括：初始数据处理计算图生成组件，接收用户输入的任务配置数据，生成用于数据处理系统的初始数据处理计算图，所述初始数据处理计算图包括前向数据处理计算图和后向数据处理计算图，所述前向数据处理计算图用于执行前向数据处理，所述后向数据处理计算图用于执行后向数据处理；检查点获取组件，查询所有前向数据处理计算图中的数据计算逻辑节点，收集具有检查点标记的数据计算逻辑节点及其作用范围，从而确定具有检查点标记的数据计算逻辑节点的前向数据处理计算子图；前向数据处理过渡计算子图生成组件，基于前向数据处理计算子图复制生成对应的前向数据处理过渡计算子图前向数据处理过渡计算子图生成组件，基于前向数据处理计算子图复制生成对应的前向数据处理过渡计算子图；最终数据处理计算图生成组件，其断开数据处理计算子图中数据计算逻辑节点自身与后向数据处理计算图的连接边，将对应的前向数据处理计算子图的数据计算逻辑源节点的输出端以及与所述对应的前向数据处理计算子图对应的后向数据处理子网络计算子图的数据计算逻辑
源节点的输入端分别作为所述前向数据处理过渡计算子图的数据计算逻辑源节点的输入端之一，并将所述前向数据处理过渡计算子图的数据计算逻辑汇节点的输出端作为所述对应的前向数据处理计算子图对应的后向数据处理子网络计算子图的数据计算逻辑源节点的输入端之一，由此获得最终数据处理计算图；以及数据处理网络部署组件，基于最终数据处理计算图，将每个数据计算逻辑节点部署到数据处理节点，从而形成与最终数据处理计算图对应的数据处理网络，所述数据处理网络包括前向数据处理网络、后向数据处理网络以及与前向数据处理过渡计算子图对应的前向数据处理过渡网络。
[0011]根据本公开的又一个方面，提供了一种数据处理网络的部署方法，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理网络系统，包括：前向数据处理网络，用于执行前向数据处理，其包括多个前向数据处理子网络，每个子网络都由多个数据处理节点构成，每个数据处理节点都使用其上游数据处理节点产生的数据执行数据处理，并向其下游数据处理节点输出数据；后向数据处理网络，用于执行后向数据处理，其包括多个后向数据处理子网络；以及一个或多个前向数据处理过渡网络，每个前向数据处理过渡网络处于一对前向数据处理子网络和后向数据处理子网络之间并隔断两者的连接，并且所述前向数据处理过渡网络与其所处的成对的前向数据处理子网络和后向数据处理子网络中的前向数据处理子网络具有相同的网络结构，其中所述成对的前向数据处理子网络和后向数据处理子网络中的前向数据处理子网络的数据处理源节点的输出端和后向数据处理子网络的数据处理源节点输入端分别作为述所述前向数据处理过渡网络的数据处理源节点的输入端之一，以及所述前向数据处理过渡网络的数据处理汇节点的输出端作为所述成对的前向数据处理子网络和后向数据处理子网络中的后向数据处理子网络的数据处理源节点的输入端之一，从而在所述成对的前向数据处理子网络和后向数据处理子网络中的后向数据处理子网络在即将执行后向数据处理之前，所述前向数据处理过渡网络基于所述后向数据处理子网络即将执行后向数据处理的消息执行过渡前向数据处理以便为所述成对的前向数据处理子网络和后向数据处理子网络中的后向数据处理子网络执行后向数据处理准备输入数据。2.根据权利要求1所述的数据处理网络系统，其中所述前向数据处理过渡网络的数据处理源节点与前向数据处理子网络的数据处理源节点共享同一内存单元。3.根据权利要求1所述的数据处理网络系统，其中所述后向数据处理子网络即将执行后向数据处理的消息为与所述后向数据处理子网络的数据处理源节点相连的一个或多个上游后向数据处理节点的输出端发出的后向数据处理结束的消息。4.一种数据处理方法，包括：通过包括多个前向数据处理子网络的前向数据处理网络执行前向数据处理，每个子网络都由多个数据处理节点构成，每个数据处理节点都使用其上游数据处理节点产生的数据执行数据处理，并向其下游数据处理节点输出数据；通过包括多个后向数据处理子网络的后向数据处理网络执行后向数据处理；以及通过一个或多个前向数据处理过渡网络执行过渡前向数据处理，其中每个前向数据处理过渡网络处于一对前向数据处理子网络和后向数据处理子网络之间并隔断两者的连接，并且所述前向数据处理过渡网络与其所处的成对的前向数据处理子网络和后向数据处理子网络中的前向数据处理子网络具有相同的网络结构，所述成对的前向数据处理子网络和后向数据处理子网络中的前向数据处理子网络的数据处理源节点的输出端和后向数据处理子网络的数据处理源节点输入端分别作为述所述前向数据处理过渡网络的数据处理源节点的输入端之一，以及所述前向数据处理过渡网络的数据处理汇节点的输出端作为所述成对的前向数据处理子网络和后向数据处理子网络中的后向数据处理子网络的数据处理源节点的输入端之一，从而在所述成对的前向数据处理子网络和后向数据处理子网络中的后向数据处理子网络在即将执行后向数据处理之前，所述前向数据处理过渡网络基于所述后向数据处理子网络即将执行后向数据处理的消息执行过渡前向数据处理以便为所述成
对的前向数据处理子网络和后向数据处理子网络中的后向数据处理子网络执行后向数据处理准备输入数据。5.根据权利要求4所述的数据处理方法，其中所述前向数据处理过渡网络的数据处理源节点与前向数据处理...

【专利技术属性】
技术研发人员：成诚，张建浩，李新奇，
申请(专利权)人：北京一流科技有限公司，
类型：发明
国别省市：