一种数据传输方法、装置、处理设备及介质制造方法及图纸

本申请实施例公开了一种数据传输方法、装置、处理设备及介质，涉及云计算，其中方法包括：获取目标对象的计算图中多个目标节点之间的可达性关系和各目标节点的调度时长，根据调度时长和多个目标节点之间的可达性关系，将至少两个目标节点聚合为目标聚合节点，采用目标聚合节点更新计算图，并将更新后的计算图发送至计算设备，更新后的计算图用于指示计算设备按照目标聚合节点的指示，在目标对象的计算过程中对被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合，并传输聚合后的数据。本申请实施可基于更新后的计算图指示计算设备对目标节点的执行结果数据进行聚合传输，从而减少数据传输的次数，以节省网络资源并缩短传输总时长。

A data transmission method, device, processing equipment and medium

【技术实现步骤摘要】
一种数据传输方法、装置、处理设备及介质
本申请涉及互联网
，具体涉及计算机
，尤其涉及一种数据传输方法、一种数据传输装置、一种处理设备及一种计算机存储介质。
技术介绍
在数学图论中，图用于表达物体与物体之间的关系的抽象，其主要由用于表示物体的节点和表示物体之间的关系的边组成；其中，每条边都有方向的图可称为有向图(DirectedGraph)。随着图技术和互联网技术的发展，计算图应运而生；所谓的计算图又可称为数据流图(DataFlowGraph)，其具体是指用于表征目标对象的数据流计算的有向图。计算图中的节点用于表示在计算目标对象的过程中所涉及的数据处理操作，一个数据处理操作对应一个执行结果数据；计算图中的边用于表示数据处理操作(节点)之间的依赖关系，如数据依赖关系和控制依赖关系。计算图中通常会具有一些特殊的目标节点，这些目标节点用于表示需要传输执行结果数据的数据处理操作。目前，在计算设备对目标对象进行计算之前，通常会构建该目标对象的计算图，并将构建得到的计算图直接发送至计算设备；使得计算设备在计算目标对象的过程中，每执行一个本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，所述方法包括：/n获取目标对象的计算图中多个目标节点之间的可达性关系，每个目标节点用于表示所述目标对象在计算过程中需要被执行的一个数据处理操作，且所述每个目标节点所表示的数据处理操作的执行结果数据需要进行传输；所述可达性关系用于指示：各目标节点沿着所述计算图中的至少一条边到达其他目标节点的能力；/n获取所述各目标节点的调度时长；/n根据所述调度时长和所述多个目标节点之间的可达性关系，将至少两个目标节点聚合为目标聚合节点，所述目标聚合节点用于指示对被聚合的目标节点所表示的数据处理操作的执行结果进行聚合；/n采用所述目标聚合节点更新所述计算图，并将更新后的计算图发...

【技术特征摘要】
1.一种数据传输方法，其特征在于，所述方法包括：
获取目标对象的计算图中多个目标节点之间的可达性关系，每个目标节点用于表示所述目标对象在计算过程中需要被执行的一个数据处理操作，且所述每个目标节点所表示的数据处理操作的执行结果数据需要进行传输；所述可达性关系用于指示：各目标节点沿着所述计算图中的至少一条边到达其他目标节点的能力；
获取所述各目标节点的调度时长；
根据所述调度时长和所述多个目标节点之间的可达性关系，将至少两个目标节点聚合为目标聚合节点，所述目标聚合节点用于指示对被聚合的目标节点所表示的数据处理操作的执行结果进行聚合；
采用所述目标聚合节点更新所述计算图，并将更新后的计算图发送至计算设备，所述更新后的计算图用于指示所述计算设备按照所述目标聚合节点的指示在所述目标对象的计算过程中对所述被聚合的目标节点所表示的数据处理操作的执行结果进行聚合，并传输聚合结果。


2.如权利要求1所述的方法，其特征在于，所述根据所述调度时长和所述多个目标节点之间的可达性关系，将至少两个目标节点聚合为目标聚合节点，包括：
根据所述多个目标节点之间的可达性关系，提取目标聚合层次信息，所述目标聚合层次信息包括：N层聚合所需的目标节点组，N为正整数；每个目标节点组中至少存在一个节点为所述目标节点；
按照所述目标聚合层次信息和所述调度时长对所述多个目标节点进行至少一层聚合迭代处理，得到目标聚合节点。


3.如权利要求2所述的方法，其特征在于，所述按照所述目标聚合层次信息和所述调度时长对所述多个目标节点进行至少一层聚合迭代处理，得到目标聚合节点，包括：
按照所述目标聚合层次信息确定第n层聚合所需的第n目标节点组，并根据所述第n目标节点组中的每个节点的通信量确定所述第n目标节点组的通信量总和；n∈[1，N]；
若所述第n目标节点组的通信量总和大于通信量阈值，则按照所述调度时长将所述第n目标节点组中的至少两个节点聚合为目标聚合节点；
若所述第n目标节点组的通信量总和小于或等于通信量阈值，则对所述第n目标节点组中的各节点进行聚合处理，得到第n聚合节点；若n的当前取值小于N，且按照所述目标聚合层次信息获取的第n+1层聚合所需的第n+1节点组的通信量总和大于所述通信量阈值，则根据所述第n聚合节点得到目标聚合节点。


4.如权利要求3所述的方法，其特征在于，所述目标聚合节点包括第一目标聚合节点和第二目标聚合节点，所述按照所述调度时长将所述第n目标节点组中的至少两个节点聚合为目标聚合节点，包括：
按照所述调度时长从小到大的顺序逐个组合所述第n目标节点组中的各节点，若在逐个组合过程中确定出前m个节点的通信量总和小于或者等于所述通信量阈值，且前m+1个节点的通信量总和大于所述通信量阈值，则根据所述前m个节点得到第一目标聚合节点；
在确定出所述第一目标聚合节点后，继续依照所述调度时长从小到大的顺序逐个组合所述第n目标节点组中的剩余节点，所述剩余节点为所述第n目标节点组中除所述前m个节点以外的节点；
若在逐个组合所述剩余节点的过程中确定所述剩余节点中的前p个目标节点的通信量总和小于或者等于通信量阈值，且所述剩余节点中的前p+1个节点的通信量总和大于所述通信量阈值，则根据所述前p个节点得到第二目标聚合节点；其中，所述m和p均为大于1的整数。


5.如权利要求3所述的方法，其特征在于，所述方法还包括：
若n的当前取值小于N，且所述第n+1节点组的通信量总和小于或等于所述通信量阈值，则对所述n的当前取值执行加一操作以更新n，并执行按照所述目标聚合层次信息确定第n层聚合所需的第n目标节点组的步骤；
若n的当前取值等于N，则根据所述第n聚合节点得到目标聚合节点。


6.如权利要求3或4所述的方法，其特征在于，所述根据所述第n聚合节点得到目标聚合节点，包括：
若n的取值为1，则将第1聚合节点作为目标聚合节点；
若n的取值不为1，则获取前n-1层聚合所得到的至少一个历史聚合节点，并从所述至少一个历史聚合节点中选取未被执行聚合处理的历史聚合节点，将选取的所述未被执行聚合处理的历史聚合节点和所述第n聚合节点作为所述目标聚合节点。


7.如权利要求2所述的方法，其特征在于，所述根据所述多个目标节点之间的可达性关系，提取目标聚合层次信息，包括：
根据所述多个目标节点之间的可达性关系，构建包括所述多个目标节点的目标有向图；
基于所述目标有向图，获取各目标节点的支配点信息；
根据所述各目标节点的支配点信息，构建由所述多个目标节点构成的支配树；
基于所述支配树，提取目标聚合层次信息。


8.如权利要求7所述的方法，其特征在于，所述基于所述支配树，提取目标聚合层次信息，包括：
基于所述支配树，提取第一聚合层次信息，所述第一聚合层次信息包括：至少一层聚合所需的支配聚合节点组，每个支配聚合节点组中至少存在一个节点为所述目标节点；
获取用于表示所述第一聚合层次信息的层次信息图；
基于所述层次信息图获取各待聚合节点的目标可达性信息，所述待聚合节点为所述多个目标节点和对每个支配聚合节点组所涉及的目标节点进行聚合得到的聚合节点；
根据所述各待聚合节点的目标可达性信息，提取第二聚合层次信息，所述第二聚合层次信息包括：至少一层聚合所需的可达聚合节点组，每个可达聚合节点组包括以下至少一种节点：所述待聚合节点和由至少两个待聚合节点进行聚合得到的可达聚合节点；且每个可达聚合节点组中的各待聚合节点的目标可达性信息满足目标可达性条件；
依照所述第一聚合层次信息和所述第二聚合层次信息，得到目标聚合层次信息；所述目标聚合层次信息包括：N层聚合所需的目标节点组，所述目标节点组是基于所述支配聚合节点组和所述可达聚合节点组确定的，N为正整数；每个目标节点组中至少存在一个节点为所述目标节点。


9...

【专利技术属性】
技术研发人员：姜曦楠，朱子霖，周飞虎，郭振宇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44