一种图邻域边信息和的估算方法及相关产品技术

本申请公开一种图邻域边信息和的估算方法及相关产品，可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。方法中执行器根据目标图中的目标节点构成的边获得目标节点的第1阶更新消息计数器并上推至参数服务器，以初始化目标节点的1阶计数器；参数服务器中包含根据驱动器的申请创建的目标图的计数器矩阵；计数器矩阵存储有目标图各节点的多阶计数器；执行器从参数服务器中拉取目标节点的同边源节点的i

【技术实现步骤摘要】
一种图邻域边信息和的估算方法及相关产品


[0001]本申请涉及数据处理
，尤其涉及一种图邻域边信息和的估算方法及相关产品。

技术介绍

[0002]目前，估算图中节点邻域边信息和的方案通常单纯基于Spark平台实现。但是，这种单纯基于Spark平台的图邻域边信息和的估算方案存在多方面问题：一是容易遇到Spark平台驱动器的单点网络瓶颈，使数据处理性能受到限制；二是在数据处理过程中，由于Spark平台所创建的RDD(Resilient Distributed Dataset，弹性分布式数据集)具有不可变性，因此需要额外创建、存储新的RDD(Resilient Distributed Dataset，弹性分布式数据集)进行迭代，资源消耗较大；三是当数据处理过程涉及百亿、千亿级别的超大规模图数据时，会产生巨大的网络开销，影响数据处理性能。
[0003]可见，当前技术中单纯基于Spark平台的图邻域边信息和的估算方案存在多方面问题，这导致Spark平台的数据处理性能较差，难以较好地应对超大规模图数据的情况。

技术实现思路

[0004]本申请实施例提供了一种图邻域边信息和的估算方法及相关产品，以解决单纯基于Spark平台的图邻域边信息和的估算方案难以较好地应对超大规模图数据的情况的问题。
[0005]本申请实施例公开了如下技术方案：
[0006]第一方面，本申请实施例提供一种图邻域边信息和的估算方法，包括：
[0007]执行器根据目标图中的目标节点构成的边获得所述目标节点的第1阶更新消息计数器，并将所述第1阶更新消息计数器上推至参数服务器，以使所述参数服务器初始化计数器矩阵中所述目标节点的1阶计数器；所述参数服务器中包含根据驱动器的申请创建的所述目标图的计数器矩阵；所述计数器矩阵存储有所述目标图中各节点的0至r阶计数器，分别用于存储所对应节点的相应阶数邻域边集的边信息编码数组和相应阶数邻域边集的边信息和的估计值；所述r为目标估算阶数，r≥2；
[0008]所述执行器从所述参数服务器中拉取所述目标节点的同边源节点的i
‑
1阶计数器，根据所述目标节点的同边源节点的i
‑
1阶计数器获得所述目标节点的第i阶更新消息计数器；2≤i≤r；
[0009]所述执行器将所述目标节点的第i阶更新消息计数器上推至所述参数服务器，以使所述参数服务器根据所述目标节点的第i阶更新消息计数器和所述目标节点的i
‑
1阶计数器，更新所述计数器矩阵中所述目标节点的i
‑
1阶计数器而得到i阶计数器，循环迭代直至完成对所述目标节点的r
‑
1阶计数器的更新而得到r阶计数器。
[0010]第二方面，本申请实施例提供另一种图邻域边信息和的估算方法，目标估算阶数为1，所述方法包括：
[0011]驱动器向参数服务器发出申请，以使所述参数服务器创建目标图的计数器矩阵；所述计数器矩阵存储有所述目标图中各节点的0阶计数器和1阶计数器，分别用于存储所对应节点的相应阶数邻域边集的边信息编码数组和相应阶数邻域边集的边信息和的估计值；
[0012]执行器根据目标图中的目标节点构成的边获得所述目标节点的第1阶更新消息计数器，并将所述第1阶更新消息计数器上推至参数服务器，以使所述参数服务器初始化计数器矩阵中所述目标节点的1阶计数器；所述参数服务器中包含根据驱动器的申请创建的所述目标图的计数器矩阵；所述计数器矩阵存储有所述目标图中各节点的0阶计数器和1阶计数器，分别用于存储所对应节点的相应阶数邻域边集的边信息编码数组和相应阶数邻域边集的边信息和的估计值。
[0013]第三方面，本申请实施例提供一种图邻域边信息和的估算系统，包括：参数服务器、驱动器和执行器；所述驱动器和所述执行器分别与所述参数服务器通信；
[0014]所述驱动器，用于向所述参数服务器发出申请；
[0015]所述参数服务器，用于创建目标图的计数器矩阵；所述计数器矩阵存储有所述目标图中各节点的0至r阶计数器，分别用于存储所对应节点的相应阶数邻域边集的边信息编码数组和相应阶数邻域边集的边信息和的估计值；所述r为目标估算阶数，r≥2；根据所述执行器上推的目标节点的第i阶更新消息计数器，以及所述目标节点的i
‑
1阶计数器，更新所述计数器矩阵中所述目标节点的i
‑
1阶计数器而得到i阶计数器，循环迭代直至完成对所述目标节点的r
‑
1阶计数器的更新而得到r阶计数器；
[0016]所述执行器，用于根据所述目标图中的目标节点构成的边，通过所述参数服务器初始化所述计数器矩阵中所述目标节点的1阶计数器；从所述参数服务器中拉取所述目标节点的同边源节点的i
‑
1阶计数器，根据所述目标节点的同边源节点的i
‑
1阶计数器获得所述目标节点的第i阶更新消息计数器；2≤i≤r；将所述目标节点的第i阶更新消息计数器上推至所述参数服务器。
[0017]第四方面，本申请实施例提供一种图邻域边信息和的估算设备，所述设备包括处理器以及存储器；所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行第一方面或第二方面所述的图邻域边信息和的估算方法的步骤。
[0018]第五方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的图邻域边信息和的估算方法的步骤。
[0019]第六方面，本申请实施例提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述的图邻域边信息和的估算方法的步骤。
[0020]从以上技术方案可以看出，本申请实施例具有以下优点：
[0021]本申请实施例中，驱动器可以利用参数服务器创建目标图的计数器矩阵，以存储目标图中各节点的0至r阶计数器，这些计数器分别用于存储所对应节点的相应阶数邻域边集的边信息编码数组和相应阶数邻域边集的边信息和的估算值。这样，在首次迭代时，执行器便可根据目标图中的目标节点构成的边获得所述目标节点的第1阶更新消息计数器，并将所述第1阶更新消息计数器上推至参数服务器，以使参数服务器初始化计数器矩阵中所述目标节点的1阶计数器。在非首次迭代时，执行器可从参数服务器中拉取目标节点的同边源节点的i
‑
1阶计数器，根据目标节点的同边源节点的i
‑
1阶计数器获得目标节点的第i阶
更新消息计数器。并且，执行器可以将目标节点的第i阶更新消息计数器上推至参数服务器，以使参数服务器可以根据目标节点的第i阶更新消息计数器和目标节点的i
‑
1阶计数器，更新计数器矩阵中目标节点的i
‑
1阶计数器而得到i阶计数器，循环迭代直至完成对目标节点的的r
‑
1阶计数器的更新而得到目标估算阶数(r阶)计数器。更新后，参数服务器中的计数器矩阵即存储了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图邻域边信息和的估算方法，其特征在于，包括：执行器根据目标图中的目标节点构成的边获得所述目标节点的第1阶更新消息计数器，并将所述第1阶更新消息计数器上推至参数服务器，以使所述参数服务器初始化计数器矩阵中所述目标节点的1阶计数器；所述参数服务器中包含根据驱动器的申请创建的所述目标图的计数器矩阵；所述计数器矩阵存储有所述目标图中各节点的0至r阶计数器，分别用于存储所对应节点的相应阶数邻域边集的边信息编码数组和相应阶数邻域边集的边信息和的估计值；所述r为目标估算阶数，r≥2；所述执行器从所述参数服务器中拉取所述目标节点的同边源节点的i
‑
1阶计数器，根据所述目标节点的同边源节点的i
‑
1阶计数器获得所述目标节点的第i阶更新消息计数器；2≤i≤r；所述执行器将所述目标节点的第i阶更新消息计数器上推至所述参数服务器，以使所述参数服务器根据所述目标节点的第i阶更新消息计数器和所述目标节点的i
‑
1阶计数器，更新所述计数器矩阵中所述目标节点的i
‑
1阶计数器而得到i阶计数器，循环迭代直至完成对所述目标节点的r
‑
1阶计数器的更新而得到r阶计数器。2.根据权利要求1所述的图邻域边信息和的估算方法，其特征在于，多个执行器均与所述参数服务器通信；所述多个执行器对应负责所述目标图中与所述目标节点关联的不同部分；所述根据所述目标节点的同边源节点的i
‑
1阶计数器获得所述目标节点的第i阶更新消息计数器，具体包括：所述多个执行器中至少一个执行器根据所述目标节点的同边源节点的i
‑
1阶计数器以及自身对应负责的所述目标图中的部分，运算获得所述目标节点的第i阶更新消息计数器；所述执行器将所述目标节点的第i阶更新消息计数器上推至所述参数服务器，以使所述参数服务器根据所述目标节点的第i阶更新消息计数器和所述目标节点的i
‑
1阶计数器，更新所述计数器矩阵中所述目标节点的i
‑
1阶计数器而得到i阶计数器，具体包括：所述多个执行器中至少一个执行器将自身获得的所述目标节点的第i阶更新消息计数器上推至所述参数服务器，以使所述参数服务器根据接收到的所述目标节点的第i阶更新消息计数器和所述目标节点的i
‑
1阶计数器，更新所述计数器矩阵中所述目标节点的i
‑
1阶计数器而得到i阶计数器。3.根据权利要求2所述的图邻域边信息和的估算方法，其特征在于，所述0至r阶计数器包括0至r阶读计数器和0至r阶写计数器；所述读计数器和所述写计数器均用于存储所对应节点的相应阶数邻域边集的边信息编码数组和相应阶数邻域边集的边信息和的估计值；其中，i
‑
1阶写计数器随所述多个执行器中至少一个执行器上推的所述目标节点的i阶更新消息计数器和/或单个执行器分批次上推的所述目标节点的i阶更新消息计数器而被更新至少一次；读计数器在当次迭代结束时被赋值为与所述目标节点的相应阶数写计数器一致；所述执行器从所述参数服务器中拉取所述目标节点的同边源节点的i
‑
1阶计数器，包括：所述执行器从所述参数服务器中拉取所述目标节点的同边源节点的i
‑
1阶读计数器。4.根据权利要求1所述的图邻域边信息和的估算方法，其特征在于，所述执行器根据目标图中的目标节点构成的边获得所述目标节点的第1阶更新消息计数器，并将所述第1阶更
新消息计数器上推至参数服务器，以使所述参数服务器初始化计数器矩阵中所述目标节点的1阶计数器，包括：所述执行器将所述目标图中以所述目标节点为尾节点的边作为目标边，创建所述目标边的源节点计数器；当所述执行器确定所述目标边的标签属于目标标签集，则将所述目标边的边信息编码数组存入所述源节点计数器，并将所述目标边的边信息编码数组中的元素个数作为所述目标边的边信息的估计值存入所述源节点计数器中，否则，所述源节点计数器中边信息的估计值置0；所述执行器将所述目标节点的所有目标边的源节点计数器与所述目标节点的初始计数器进行融合，获得所述目标节点的第1阶更新消息计数器；所述初始计数器存储的边信息的估计值为0；所述执行器将所述目标节点的第1阶更新消息计数器上推至参数服务器，以使所述参数服务器对所述目标节点的第1阶更新消息计数器和所述目标节点的0阶计数器融合，以融合结果初始化所述目标节点的1阶计数器；所述目标节点的0阶邻域边集为空集。5.根据权利要求4所述的图邻域边信息和的估算方法，其特征在于，所述根据所述目标节点的同边源节点的i
‑
1阶计数器获得所述目标节点的第i阶更新消息计数器，具体包括：所述执行器将所述目标边的源节点的i
‑
1阶计数器发送给所述源节点的包括所述目标节点在内的所有尾节点；所述执行器根据所述目标节点收到的来自所有源节点的i
‑
1阶计数器进行融合，得到所述目标节点的第i阶更新消息计数器。6.根据权利要求1所述的图邻域边信息和的估算方法，其特征在于，还包括：所述执行器获取并存储所述目标图的第一邻接表；所述第一邻接表包括所述目标图的多条数据，其中一条数据对应一条边，一条数据包括所对应边的源节点的信息和尾节点的信息以及所对应边的边信息；若所述目标图中包含无向边，则所述执行器将所存储的所述第一邻接表中所述无向边的数据扩增为两条有向边的数据，得到第二邻接表；所述两条有向边的源节点的信息和尾节点的信息颠倒；所述执行器对所述第二邻接表中的边信息进行编码，得到边信息编码数组；所述执行器...

【专利技术属性】
技术研发人员：王贺雨，蒋杰，李晓森，欧阳文，肖品，陶阳宇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：