图数据划分方法、处理方法及电子设备技术

本发明专利技术涉及图数据技术领域，具体涉及图数据划分方法、处理方法及电子设备。划分方法包括获取目标图数据、目标图数据的大小以及图数据处理器的内存大小；利用目标图数据的大小以及图数据处理器的内存大小，确定目标图数据对应的目标子图的数量；基于目标子图的数量，对目标图数据进行划分；根据各个目标子图的大小以及图数据处理器的内存大小，调整目标子图的数量；基于调整后的目标子图的数量对目标图数据进行划分。利用划分后得到的目标子图的大小与图数据处理器的内存大小，调整实际划分的目标子图的数量；通过平衡每个目标子图的大小，确定目标子图的数量，使得划分得到的目标子图均能够被图数据处理器处理，提高了后续图数据处理的效率。

【技术实现步骤摘要】
图数据划分方法、处理方法及电子设备
本专利技术涉及图数据
，具体涉及图数据处理方法、装置及电子设备。
技术介绍
在数据科学、机器学习、社交网络、路线规划和基因组学等广泛的应用中对数据分析的需求不断增长，反映不同实体之间内在关系的大规模图数据处理在众多领域受到越来越多的关注。因此，从大规模图数据中挖掘有用信息，是实现这些应用的目的和基础。由于问题规模的不断扩展，图数据的体量也急剧增长，对图处理在性能和能源效率方面都构成了巨大的挑战。因此，大规模图数据处理的关键问题是提供高带宽的数据访问，加快图处理速度。现有技术中一般采用的是图数据处理系统进行图数据的处理的，该系统包括主机以及多个图数据处理器。其中，主机依据图数据处理器的数量对图数据进行划分，再将划分得到的子图分发给各个图数据处理器进行并行处理，以提高图数据处理的速度。然而，由于图数据中存在少部分顶点连接大部分边，若按照上述方式进行图数据处理就会使得不同顶点的计算工作量会有较大的差距，即各个图数据处理器的计算工作量差异较大，导致严重的工作负载不平衡问题和通信开销，进而导致图数据的处理本文档来自技高网...

【技术保护点】
1.一种图数据划分方法，其特征在于，包括：/n获取目标图数据、所述目标图数据的大小以及图数据处理器的内存大小；/n利用所述目标图数据的大小以及所述图数据处理器的内存大小，确定所述目标图数据对应的目标子图的数量；/n基于所述目标子图的数量，对所述目标图数据进行划分；/n根据各个所述目标子图的大小以及所述图数据处理器的内存大小，调整所述目标子图的数量；/n基于调整后的所述目标子图的数量，对所述目标图数据进行划分。/n

【技术特征摘要】
1.一种图数据划分方法，其特征在于，包括：
获取目标图数据、所述目标图数据的大小以及图数据处理器的内存大小；
利用所述目标图数据的大小以及所述图数据处理器的内存大小，确定所述目标图数据对应的目标子图的数量；
基于所述目标子图的数量，对所述目标图数据进行划分；
根据各个所述目标子图的大小以及所述图数据处理器的内存大小，调整所述目标子图的数量；
基于调整后的所述目标子图的数量，对所述目标图数据进行划分。


2.根据权利要求1所述的方法，其特征在于，采用如下公式计算得到所述目标子图的数量：
P＝sizeof(G)/mem_size*C1
其中，P为所述目标子图的数量，G为所述目标图数据，sizeof(G)为所述目标图数据的大小，mem_size为所述图数据处理器的内存大小，为常数且C1>1。


3.根据权利要求1或2所述的方法，其特征在于，所述根据各个所述目标子图的大小以及各个所述图数据处理器的内存大小，调整所述目标子图的数量，包括：
遍历所有所述目标子图，判断所述目标子图中是否存在大小大于所述图数据处理器的内存大小的目标子图；
当所述目标子图中存在大小大于所述图数据处理器的内存大小的目标子图时，将所述目标子图的数量调整至所述目标子图的数量的预设倍数；其中，所述预设倍数大于1。


4.根据权利要求1所述的方法，其特征在于，所述基于所述目标子图的数量，对所述目标图数据进行划分，包括：
获取所述目标图数据中的所有顶点；
利用所述目标子图的数量对所有所述顶点进行划分，得到与所述目标子图对应的顶点子集；
确定所述顶点子集中各个所述顶点对应的边，得到所述目标子图。


5.一种图数据处理方法，其特征在于，包括：
根据权利要求1-4中任一项所述的图数据划分方法对目标图数据进行划分，得到目标子图；
将划分得到的...

【专利技术属性】
技术研发人员：张强，闫龙川，葛浙奉，蒋从锋，郭爽爽，
申请(专利权)人：全球能源互联网研究院有限公司，国家电网有限公司信息通信分公司，国网山东省电力公司信息通信公司，国家电网有限公司，
类型：发明
国别省市：北京;11