数据传输方法、装置、处理设备及介质制造方法及图纸

本发明专利技术实施例基于云技术公开了一种数据传输方法、装置、处理设备及介质，其中方法包括：获取目标对象的计算图中的多个目标节点的可达性信息；根据各目标节点的可达性信息，将至少两个目标节点聚合为目标聚合节点；采用所述目标聚合节点更新所述计算图，并将更新后的计算图发送至计算设备，所述更新后的计算图用于指示：所述计算设备按照所述目标聚合节点的指示在所述对象的计算过程中对所述被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合，并传输聚合结果。本发明专利技术实施例可通过更新后的计算图指示计算设备对目标节点的执行结果数据进行聚合传输，从而减少数据传输的次数，以节省网络资源并缩短传输总时长。

【技术实现步骤摘要】
数据传输方法、装置、处理设备及介质
本申请涉及互联网
，具体涉及计算机
，尤其涉及一种数据传输方法、一种数据传输装置、一种处理设备及一种计算机存储介质。
技术介绍
在数学图论中，图用于表达物体与物体之间的关系的抽象，其主要由用于表示物体的节点和表示物体之间的关系的边组成；其中，每条边都有方向的图可称为有向图(DirectedGraph)。随着图技术和互联网技术的发展，计算图应运而生；所谓的计算图又可称为数据流图(DataFlowGraph)，其具体是指用于表征目标对象的数据流计算的有向图。计算图中的节点用于表示在计算目标对象的过程中所涉及的数据处理操作，一个数据处理操作对应一个执行结果数据；计算图中的边用于表示数据处理操作(节点)之间的依赖关系，如数据依赖关系和控制依赖关系。计算图中通常会具有一些特殊的目标节点，这些目标节点用于表示需要传输执行结果数据的数据处理操作。目前，在计算设备对目标对象进行计算之前，通常会构建该目标对象的计算图，并将构建得到的计算图直接发送至计算设备；使得计算设备在计算目标对象的过程中，每执行一个目标本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，包括：/n获取目标对象的计算图中的多个目标节点的可达性信息；每个目标节点用于表示所述目标对象在计算过程中需要被执行的一个数据处理操作，且所述每个目标节点所表示的数据处理操作的执行结果数据需要进行传输；其中，任一目标节点的可达性信息用于指示：所述任一目标节点沿着所述计算图中的至少一条边到达其他目标节点的能力，以及所述任一目标节点被其他目标节点沿着所述计算图中的至少一条边到达的能力；/n根据各目标节点的可达性信息，将至少两个目标节点聚合为目标聚合节点，所述目标聚合节点用于指示对被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合；/n采用所述目标聚合节点更新...

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：
获取目标对象的计算图中的多个目标节点的可达性信息；每个目标节点用于表示所述目标对象在计算过程中需要被执行的一个数据处理操作，且所述每个目标节点所表示的数据处理操作的执行结果数据需要进行传输；其中，任一目标节点的可达性信息用于指示：所述任一目标节点沿着所述计算图中的至少一条边到达其他目标节点的能力，以及所述任一目标节点被其他目标节点沿着所述计算图中的至少一条边到达的能力；
根据各目标节点的可达性信息，将至少两个目标节点聚合为目标聚合节点，所述目标聚合节点用于指示对被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合；
采用所述目标聚合节点更新所述计算图，并将更新后的计算图发送至计算设备，所述更新后的计算图用于指示：所述计算设备按照所述目标聚合节点的指示，在所述目标对象的计算过程中对所述被聚合的目标节点所表示的数据处理操作的执行结果数据进行聚合，并传输聚合结果。


2.如权利要求1所述的方法，其特征在于，所述根据各目标节点的可达性信息，将至少两个目标节点聚合为目标聚合节点，包括：
根据各目标节点的可达性信息，提取聚合层次信息；所述聚合层次信息包括：N层聚合所需的节点组，N为正整数；每个节点组包括以下至少一种节点：所述目标节点和由至少两个目标节点聚合的聚合节点；且每个节点组中的各节点的可达性信息满足可达性条件；
按照所述聚合层次信息对所述多个目标节点进行至少一层聚合迭代处理，得到目标聚合节点。


3.如权利要求2所述的方法，其特征在于，所述根据各目标节点的可达性信息，提取聚合层次信息，包括：
从第i层聚合所涉及的节点集中，选取可达性信息满足所述可达性条件的节点，并将被选取的节点添加至第i层聚合所需的至少一个第i节点组；一个第i节点组对应一个第i聚合节点，i的取值∈[1，N]；其中，当i的取值为1时，所述第1层聚合所涉及的节点集包括所述多个目标节点；
采用各个第i节点组对应的第i个聚合节点，替换所述节点集中被选取的节点以更新所述节点集；
若更新后的节点集中存在可达性信息满足可达性条件的节点，则对i的当前取值执行加一操作以更新i，并执行从第i层聚合所涉及的节点集中选取可达性信息满足所述可达性条件的节点的步骤。


4.如权利要求2所述的方法，其特征在于，第i层对应的节点集中的各节点构成第i层对应的有向图，i的取值∈[1，N]；第i层的任一节点组中的任一节点的可达性信息包括以下至少一项：所述任一节点对应的可达节点和所述任一节点对应的被可达节点；
其中，所述任一节点对应的可达节点是指：由所述任一节点通过所述第i层的有向图中的至少一条边所到达的节点；所述任一节点对应的被可达节点是指：通过所述第i层的有向图中的至少一条边到达所述任一节点的节点；
所述每个节点组中的各节点的可达性信息满足可达性条件包括：根据所述每个节点组中的各节点的可达性信息中所包括的相同可达节点的数量以及相同被可达节点的数量，计算得到的所述每个节点组中的各节点之间的节点亲和性大于亲和性阈值。


5.如权利要求2所述的方法，其特征在于，所述按照所述聚合层次信息对所述多个目标节点进行至少一层聚合迭代处理，得到目标聚合节点，包括：
按照所述聚合层次信息确定第n层聚合所需的至少一个第n节点组，并分别根据各个第n节点组中的每个节点的通信量确定所述各个第n节点组的通信量总和；n∈[1，N]；
从所述至少一个第n节点组中，选取通信量总和小于或等于通信量阈值的第n节点组；并对被选取的第n节点组中的各节点进行聚合处理，得到第n聚合节点；
若n的当前取值小于N，且按照所述聚合层次信息获取的第n+1层聚合所需的各个第n+1节点组的通信量总和均大于所述通信量阈值，则根据所述第n聚合节点得到目标聚合节点。


6.如权利要求5所述的方法，其特征在于，所述方法还包括：
若n的当前取值小于N，且存在至少一个第n+1节点组的通信量总和小于或等于所述通信量阈值，则对所述n的当前取值执行加一操作以更新n，并执行按照所述聚合层次信息确定第n层聚合所需的至少一个第n节点组的步骤；
...

【专利技术属性】
技术研发人员：姜曦楠，朱子霖，周飞虎，郭振宇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44