数据分布的分析方法、装置及电子设备、存储介质制造方法及图纸

本申请提供一种数据分布的分析方法、装置及电子设备、存储介质。该方法包括：生成多个数据中心的共有分布式数据图；针对共有分布式数据图中的每个共有顶点，当共有顶点所连接的入边的数量大于预设值时，确定共有顶点为高度顶点；当共有顶点所连接的入边的数量小于或等于预设值时，确定共有顶点为低度顶点；确定每个数据中心的多个初始分布式数据图，并根据自适应迭代评分采样算法和每个数据中心的多个初始分布式数据图确定每个数据中心的目标分布式数据图。本申请的方法可以解决如何在减少数据中心之间进行通信时的成本的同时，减少对数据中心对应的图的数据表现方式进行优化时所需的时间成本，提高优化效率。提高优化效率。提高优化效率。

【技术实现步骤摘要】
数据分布的分析方法、装置及电子设备、存储介质


[0001]本申请涉及分布式图分析应用技术，尤其涉及一种数据分布的分析方法、装置及电子设备、存储介质。

技术介绍

[0002]目前，一些大数据分析应用经常会涉及到分析地理分布式方式产生的数据。以某社交应用为例，其数据分析任务每天都要处理数TB字节的文本、图像以及视频等数据，而这些数据来自于世界各地的用户。为了服务于这样的应用，云供应商发展了地理分布式的云服务，地理分布式的云服务可以让应用和本地、其他云提供商的数据中心或第三方数据中心等进行数据交互。
[0003]在构建云服务上数据中心的数据时，首先是基于地理分布式的环境下执行图分析应用程序，以将每个数据中心的分布式数据抽象成图的数据表现形式。再根据图的数据表现方式，按照vertex
‑
cut图分割模型构建完整的数据分布模型。有了数据分布模型，再按照PowerGraph提出的GAS计算模型对图分析应用程序的过程进行模拟。
[0004]在模拟过程中的Gather以及Apply阶段，不同数据中心之间需要进行通信。而数据中心对应的图的数据表现方式决定了数据中心之间进行通信时的成本。为了减少数据中心之间进行通信时的成本，一般是使用贪心算法优化得到各个数据中心更好的图的数据表现形式。但是，当数据中心的数量越来越多、数据量越来越庞大时，利用贪心算法对数据中心对应的图的数据表现方式进行优化时所需的时间成本非常高，对应的效率也比较低。
[0005]如何在减少数据中心之间进行通信时的成本的同时，减少对数据中心对应的图的数据表现方式进行优化时所需的时间成本，提高优化效率，仍然是需要考虑的。

技术实现思路

[0006]本申请提供一种数据分布的分析方法、装置及电子设备、存储介质，用以解决如何在减少数据中心之间进行通信时的成本的同时，减少对数据中心对应的图的数据表现方式进行优化时所需的时间成本，提高优化效率的问题。
[0007]一方面，本申请提供一种数据分布的分析方法，包括：
[0008]根据每个数据中心的分布式数据图，生成多个数据中心的共有分布式数据图，所述共有分布式数据图包括至少一个共有顶点，每个共有顶点上连接有至少一条入边；其中，所述共有顶点为每个数据中心的分布式数据图中具有的同一顶点；
[0009]针对共有分布式数据图中的每个共有顶点，当共有顶点所连接的入边的数量大于预设值时，确定共有顶点为高度顶点；当共有顶点所连接的入边的数量小于或等于所述预设值时，确定共有顶点为低度顶点；其中，低度顶点的入边和出边均跟随低度顶点，高度顶点的入边跟随入边所连接的另一共有顶点；
[0010]基于共有分布式数据图中确定的高度顶点和低度顶点，确定每个数据中心的多个初始分布式数据图，并根据自适应迭代评分采样算法和每个数据中心的多个初始分布式数
据图确定每个数据中心的目标分布式数据图。
[0011]其中一个实施例中，所述基于共有分布式数据图中确定的高度顶点和低度顶点确定每个数据中心的多个初始分布式数据图包括：
[0012]针对每个数据中心，随机获取共有分布式数据图中的至少一个共有顶点，根据共有分布式数据图中共有顶点和边的连接关系，以及确定的高度顶点和低度顶点，为所述至少一个共有顶点中的每个共有顶点分配边；
[0013]当所述至少一个共有顶点中共有顶点的分配边中，入边仅连接一个共有顶点时，根据共有分布式数据图中共有顶点和边的连接关系，为入边分配一个镜像共有顶点，所述镜像共有顶点为共有分布式数据图中入边连接的另一个共有顶点在数据中心的镜像点；
[0014]以最终得到的具有所述至少一个共有顶点，且所述至少一个共有顶点均具有分配边，且分配边中每个入边均连接两个共有顶点的数据图为数据中心的一个初始分布式数据图；
[0015]返回执行步骤所述随机获取原始分布式数据图中的至少一个共有顶点，直到遍历共有分布式数据图中的每个共有顶点，得到数据中心的多个初始分布式数据图。
[0016]其中一个实施例中，所述根据自适应迭代评分采样算法和每个数据中心的多个初始分布式数据图确定每个数据中心的目标分布式数据图包括：
[0017]在达到迭代停止条件之前，
[0018]针对第N次迭代，获取第N采样率，以及获取数据集合图中每个顶点的采样价值；其中，所述数据集合图由每个数据中心的多个初始分布式数据图组成，N为大于零的整数，N的初始值为1；
[0019]根据所述第N采样率筛选出采样价值最高的前M个顶点，以M个顶点构成顶点集合，M为大于零的自然数；
[0020]获取顶点集合中每个顶点的性能向量，根据每个顶点的性能向量确定所属数据集合图中每个顶点所属的数据中心，以确定的每个顶点所属的数据中心为第N次迭代结果；将N加1，重复执行步骤所述针对第N次迭代，获取第N采样率，直到达到迭代停止条件时，
[0021]根据最后一次迭代结果，确定每个数据中心的目标分布式数据图。
[0022]其中一个实施例中，所述根据每个顶点的性能向量确定每个顶点所属的数据中心包括：
[0023]针对每个顶点，根据顶点的性能向量确定顶点的正则化性能向量；
[0024]根据顶点的正则化性能向量，确定顶点分配至每个数据中心的概率区间；
[0025]获取随机数，根据随机数和顶点分配至每个数据中心的概率区间，确定随机数所属的目标概率区间，并确定所述目标概率区间对应的数据中心为顶点所属的数据中心。
[0026]其中一个实施例中，所述获取顶点集合中每个顶点的性能向量包括：
[0027]针对顶点集合中的每个顶点，分别获取顶点分配至每个数据中心后的成本数据，基于顶点分配至每个数据中心后的成本数据确定顶点的性能向量。
[0028]其中一个实施例中，所述成本数据包括第一成本数据和第二成本数据；
[0029]则所述基于顶点分配至每个数据中心后的成本数据确定顶点的性能向量包括：
[0030]针对顶点分配至一个数据中心，分别获取第一成本数据的第一权重，和第二成本数据的第二权重；
[0031]根据第一成本数据、第一权重、第二成本数据、第二权重、第一成本数据和预设成本数据之间的差值项，确定顶点分配至一个数据中心时的性能值；其中，第一成本数据大于预设成本数据时，所述差值项等于一，第一成本数据小于或等于预设成本数据时，所述差值项等于零；当所述差值项为零时，所述第一成本数据不可用，顶点分配至数据中心的性能向量与第二成本数据相关；
[0032]更新所述一个数据中心为另一个数据中心，反复执行步骤所述针对顶点分配至一个数据中心，直到获取顶点分配至每个数据中心时的性能值时，基于顶点分配至每个数据中心时的性能值构成顶点的性能向量。
[0033]其中一个实施例中，所述迭代停止条件至少包括以下一种条件或多种条件：
[0034]第一种条件为迭代次数达到预设最大迭代次数；
[0035]第二种条件为根据任意两次连续迭代后确定的每个数据中心本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分布的分析方法，其特征在于，包括：根据每个数据中心的分布式数据图，生成多个数据中心的共有分布式数据图，所述共有分布式数据图包括至少一个共有顶点，每个共有顶点上连接有至少一条入边；其中，所述共有顶点为每个数据中心的分布式数据图中具有的同一顶点；针对共有分布式数据图中的每个共有顶点，当共有顶点所连接的入边的数量大于预设值时，确定共有顶点为高度顶点；当共有顶点所连接的入边的数量小于或等于所述预设值时，确定共有顶点为低度顶点；其中，低度顶点的入边和出边均跟随低度顶点，高度顶点的入边跟随入边所连接的另一共有顶点；基于共有分布式数据图中确定的高度顶点和低度顶点，确定每个数据中心的多个初始分布式数据图，并根据自适应迭代评分采样算法和每个数据中心的多个初始分布式数据图确定每个数据中心的目标分布式数据图。2.根据权利要求1所述的方法，其特征在于，所述基于共有分布式数据图中确定的高度顶点和低度顶点确定每个数据中心的多个初始分布式数据图包括：针对每个数据中心，随机获取共有分布式数据图中的至少一个共有顶点，根据共有分布式数据图中共有顶点和边的连接关系，以及确定的高度顶点和低度顶点，为所述至少一个共有顶点中的每个共有顶点分配边；当所述至少一个共有顶点中共有顶点的分配边中，入边仅连接一个共有顶点时，根据共有分布式数据图中共有顶点和边的连接关系，为入边分配一个镜像共有顶点，所述镜像共有顶点为共有分布式数据图中入边连接的另一个共有顶点在数据中心的镜像点；以最终得到的具有所述至少一个共有顶点，且所述至少一个共有顶点均具有分配边，且分配边中每个入边均连接两个共有顶点的数据图为数据中心的一个初始分布式数据图；返回执行步骤所述随机获取原始分布式数据图中的至少一个共有顶点，直到遍历共有分布式数据图中的每个共有顶点，得到数据中心的多个初始分布式数据图。3.根据权利要求1或2所述的方法，其特征在于，所述根据自适应迭代评分采样算法和每个数据中心的多个初始分布式数据图确定每个数据中心的目标分布式数据图包括：在达到迭代停止条件之前，针对第N次迭代，获取第N采样率，以及获取数据集合图中每个顶点的采样价值；其中，所述数据集合图由每个数据中心的多个初始分布式数据图组成，N为大于零的整数，N的初始值为1；根据所述第N采样率筛选出采样价值最高的前M个顶点，以M个顶点构成顶点集合，M为大于零的自然数；获取顶点集合中每个顶点的性能向量，根据每个顶点的性能向量确定所属数据集合图中每个顶点所属的数据中心，以确定的每个顶点所属的数据中心为第N次迭代结果；将N加1，重复执行步骤所述针对第N次迭代，获取第N采样率，直到达到迭代停止条件时，根据最后一次迭代结果，确定每个数据中心的目标分布式数据图。4.根据权利要求3所述的方法，其特征在于，所述根据每个顶点的性能向量确定每个顶点所属的数据中心包括：针对每个顶点，根据顶点的性能向量确定顶点的正则化性能向量；根据顶点的正则化性能向量，确定顶点分配至每个数据中心的概率区间；
获取随机数，根据随机数和顶点分配至每个数据中心的概率区间，确定随机数所属的目标概率区间，并确定所述目标概率区间对应的数据中心为顶点所属的数据中心。5.根据权利要求3所述的方法，其特征在于，所述获取顶点集合中每个顶点的性能向量包括：针对顶点集合中的每个顶点，分别获取顶点分配至每个数据中心后的成本数据，基于顶点分配至每个数据中心后的成本数据确定顶点的性能向量。6.根据权利要求5所述的方法，其特征在于，所述成本数据包括第一成本数据和第二成本数据；则所述基于顶点分配至每个数据中心后的成本数据确定顶点的性能向量包括：针对顶点分配至一个数据中心，分别获取第一成本数据的第一权重，和第二成本数据的第二权重；根据第一成本数据、第一权重、第二成本数据、第二权重、第一成本数...

【专利技术属性】
技术研发人员：罗鹃云，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：