一种面向大图计算高效图划分方法与系统技术方案

本发明专利技术提出了一种面向大图计算高效图划分方法与系统，该方法将图数据划分成多个顶点，并将顶点随机排序转为队列；按照队列顺序对第一个顶点进行分区分配，即分配到处理单元，分配完后以该顶点的分区信息作为值，此顶点的邻点作为键，以字典条目的形式存储于DRAM或者NVM中；后续顶点，先判断DRAM或NVM中是否有以此顶点为键的条目，如存在，直接将此顶点的分区信息追加到DRAM或者NVM中对应的条目；如果不存在，则将该点分配到负载最小的处理单元。将每个分配完的顶点的分区信息作为值，此顶点的邻点作为键，以字典条目的形式存储于对应的缓存中。该方法每次可直接根据当前定点查找对应的以此点为键的条目，效率得到了提升。

A method and system for partitioning high efficient graph into large graph

This invention puts forward a method and system for dividing the graph data into multiple vertices and transferring the vertex to the queue. The first vertex is allocated to the first vertex in accordance with the order of the queue, which is assigned to the processing unit, and then the partition information of the vertex is used as the value. As a key, the vertex is stored in DRAM or NVM in the form of a dictionary entry; the subsequent vertex determines whether there is an entry with this vertex in the DRAM or NVM, and, if it exists, directly appends the partition information of this vertex to the corresponding entry in the DRAM or NVM; if not, the point is assigned to the minimum load. Processing unit. The partition information of each assigned vertex is taken as a value. The adjacent point of this vertex is stored as a key in the corresponding cache in the form of dictionary entries. This method can directly find the corresponding entry with this point as the key directly according to the current fixed point, and the efficiency has been improved.

【技术实现步骤摘要】
一种面向大图计算高效图划分方法与系统
本专利技术涉及计算机领域，具体涉及一种面向大图计算高效图划分方法与系统。
技术介绍
目前如今，图的规模巨大且不断增长，比如由大脑神经构成的一张图，可高达几百个TB，最典型的是万维网，通过搜索引擎可以抓取约1万亿的链接关系图，据估计未来规模将超过十万亿。全球最大的社交网络Facebook目前拥有约10亿的用户，与之相对应的是数百亿的关系链接。普通的计算机由于内存的限制无法对这些图(大图)正常处理，这给常见的图计算带来了严峻挑战(如寻找连通分量，计算三角形和Pagerank)。一个标准的解决方案是将图数据划分为多个子图装载到不同处理单元进行分布式计算。为此，Spark，Pregel，Giraph和Trinity等分布式系统框架被相继的开发出来，这些系统主要根据节点ID利用伪随机哈希函数将任务分发到每个处理单元，虽然能达到负载均衡，然而由于分区之间的通信量很大导致计算运行的时间会比划分质量好的算法慢。幸运的是，这些系统支持自定义划分方式，用户可以用一个更复杂的划分方式代替现有的哈希算法。图的划分管理是分布式计算的前提，与图计算过程中子区之间的通信量或运本文档来自技高网...

【技术保护点】
一种面向大图计算高效图划分方法，其特征在于，包括以下步骤：S1，将图数据划分成多个顶点，并将顶点随机排序转为队列；S2，按照队列顺序对第一个顶点进行分区分配，即分配到处理单元，分配完后以该顶点的分区信息作为值，此顶点的邻点作为键，以字典条目的形式存储于DRAM中，如果DRAM的数据容量超过设定阈值则存储于NVM中；S3，对于队列中后续顶点，先判断DRAM或NVM中是否有以此顶点为键的条目，如果存在，直接将此顶点的分区信息追加到DRAM或者NVM中对应的条目，即依据该条目中的值，将该点分配到对应的处理单元，每分配完一个顶点，均以分配完成顶点的分区信息作为值，此顶点的邻点作为键，以字典条目的形式存...

【技术特征摘要】
1.一种面向大图计算高效图划分方法，其特征在于，包括以下步骤：S1，将图数据划分成多个顶点，并将顶点随机排序转为队列；S2，按照队列顺序对第一个顶点进行分区分配，即分配到处理单元，分配完后以该顶点的分区信息作为值，此顶点的邻点作为键，以字典条目的形式存储于DRAM中，如果DRAM的数据容量超过设定阈值则存储于NVM中；S3，对于队列中后续顶点，先判断DRAM或NVM中是否有以此顶点为键的条目，如果存在，直接将此顶点的分区信息追加到DRAM或者NVM中对应的条目，即依据该条目中的值，将该点分配到对应的处理单元，每分配完一个顶点，均以分配完成顶点的分区信息作为值，此顶点的邻点作为键，以字典条目的形式存储于对应缓存中；如果DRAM或NVM中不存在以此顶点为键的条目，则将该点分配到负载最小的处理单元，再将每个分配完的顶点的分区信息作为值，此顶点的邻点作为键，以字典条目的形式存储于DRAM中，如果DRAM的数据容量超过设定阈值则存储于NVM中，直至队列中所有点都分配完毕，其中，所述负载最小的处理单元为拥有顶点数量最少的分区。2.根据权利要求1所述的面向大图计算高效图划分方法，其特征在于，分区分配时，将待分配顶点分配至含有该顶点的邻点数量最多的分区。3.根据权利要求1所述的面向大图计算高效图划分方法，其特征...

【专利技术属性】
技术研发人员：钟将，李琪，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50