一种数据传输方法、装置、处理设备及介质制造方法及图纸

本申请实施例公开了一种数据传输方法、装置、处理设备及介质，涉及云计算，其中方法包括：获取目标对象的计算图中的至少两个目标节点的调度时长和通信量，按照调度时长将通信量满足通信量条件的目标节点聚合为聚合节点，采用聚合节点更新计算图，并将更新后的计算图发送至计算设备，更新后的计算图用于指示计算设备按照聚合节点的指示，在目标对象的计算过程中对被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合，并传输聚合后的数据。本申请实施例可通过各个目标节点的调度时长更新计算图，并基于更新后的计算图指示计算设备对目标节点的执行结果数据进行聚合传输，从而减少数据传输的次数，以节省网络资源并缩短传输总时长。

A data transmission method, device, processing equipment and medium

【技术实现步骤摘要】
一种数据传输方法、装置、处理设备及介质
本申请涉及互联网
，具体涉及计算机
，尤其涉及一种数据传输方法、一种数据传输装置、一种处理设备及一种计算机存储介质。
技术介绍
在数学图论中，图用于表达物体与物体之间的关系的抽象，其主要由用于表示物体的节点和表示物体之间的关系的边组成；其中，每条边都有方向的图可称为有向图(DirectedGraph)。随着图技术和互联网技术的发展，计算图应运而生；所谓的计算图又可称为数据流图(DataFlowGraph)，其具体是指用于表征目标对象的数据流计算的有向图。计算图中的节点用于表示在计算目标对象的过程中所涉及的数据处理操作，一个数据处理操作对应一个执行结果数据；计算图中的边用于表示数据处理操作(节点)之间的依赖关系，如数据依赖关系和控制依赖关系。计算图中通常会具有一些特殊的目标节点，这些目标节点用于表示需要传输执行结果数据的数据处理操作。目前，在计算设备对目标对象进行计算之前，通常会构建该目标对象的计算图，并将构建得到的计算图直接发送至计算设备；使得计算设备在计算目标对象的过程中，每执行一个本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，所述方法包括：/n获取目标对象的计算图中的至少两个目标节点的调度时长和通信量，每个目标节点用于表示所述目标对象在计算过程中需要被执行的一个数据处理操作，且所述每个目标节点所表示的数据处理操作的执行结果数据需要进行传输；/n按照所述调度时长将所述至少两个目标节点中的通信量满足通信量条件的目标节点聚合为聚合节点，所述聚合节点用于指示对被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合；/n采用所述聚合节点更新所述计算图，并将更新后的计算图发送至计算设备，所述更新后的计算图用于指示：所述计算设备按照所述聚合节点的指示，在所述目标对象的计算过程中对所述被聚合的...

【技术特征摘要】
1.一种数据传输方法，其特征在于，所述方法包括：
获取目标对象的计算图中的至少两个目标节点的调度时长和通信量，每个目标节点用于表示所述目标对象在计算过程中需要被执行的一个数据处理操作，且所述每个目标节点所表示的数据处理操作的执行结果数据需要进行传输；
按照所述调度时长将所述至少两个目标节点中的通信量满足通信量条件的目标节点聚合为聚合节点，所述聚合节点用于指示对被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合；
采用所述聚合节点更新所述计算图，并将更新后的计算图发送至计算设备，所述更新后的计算图用于指示：所述计算设备按照所述聚合节点的指示，在所述目标对象的计算过程中对所述被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合，并传输聚合后的数据。


2.如权利要求1所述的方法，其特征在于，所述通信量条件为被聚合的目标节点的通信量总和小于或者等于通信量阈值，所述聚合节点包括第一聚合节点和第二聚合节点，所述按照所述调度时长将所述至少两个目标节点中的通信量满足通信量条件的目标节点聚合为聚合节点，包括：
按照所述调度时长从小到大的顺序逐个组合所述至少两个目标节点中的各个目标节点；
若在逐个组合过程中确定出前m个目标节点的通信量总和小于或者等于通信量阈值，且前m+1个目标节点的通信量总和大于所述通信量阈值，则将所述前m个目标节点聚合为第一个聚合节点；
在确定出所述第一聚合节点后，继续依照所述调度时长从小到大的顺序逐个组合剩余目标节点集中的各个目标节点，所述剩余目标节点集包括所述至少两个目标节点中除所述前m个目标节点以外的目标节点；
若在逐个组合所述剩余目标节点集中的各个目标节点的过程中确定出所述剩余目标节点集中的前n个目标节点的通信量总和小于或者等于通信量阈值，且所述剩余目标节点集中的前n+1个目标节点的通信量总和大于所述通信量阈值，则将所述剩余目标节点集中的前n个目标节点聚合为第二个聚合节点；其中，所述m和n均为大于1的整数。


3.如权利要求1或2所述的方法，其特征在于，所述获取目标对象的计算图中的至少两个目标节点的调度时长，包括：
预热运行目标对象的计算图，所述计算图包括至少一个节点，每个节点用于表示所述目标对象在计算过程中需要被执行的一个数据处理操作；
记录所述计算图中各个节点表示的数据处理操作的执行时长；
依照所述各个节点表示的数据处理操作的执行时长，计算所述计算图中的至少两个目标节点的调度时长。


4.如权利要求3所述的方法，其特征在于，所述依照所述各个节点表示的数据处理操作的执行时长，计算所述计算图中的至少两个目标节点的调度时长，包括：
确定所述计算图中从起始节点开始，到达第一目标节点的各条路径，所述第一目标节点为所述至少两个目标节点中的任一个目标节点；
对所述各条路径中除所述第一目标节点以外的节点对应的执行时...

【专利技术属性】
技术研发人员：姜曦楠，朱子霖，周飞虎，郭振宇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44