一种基于层次化大规模图数据的运算系统技术方案

本发明专利技术公开了一种基于层次化大规模图数据的运算系统，包括图数据采集单元、图数据分析单元、图数据管理单元；图数据分析单元包括图数据分割模块、统计模块、图数据合并模块；图数据管理单元包括运算模块、对比模块、警示模块；图数据采集单元用于采集大规模的图数据，并将图数据通过中值滤波进行噪声过滤处理，然后将处理后的图数据传输至图数据分析单元和图数据管理单元。本发明专利技术通过对图数据进行预处理后按照图数据的相邻节点进行分割，然后将分割后的图数据进行整合，并且对预处理图数据进行边界几点采集，得到原始边界，同时将原始边界与整合数据进行对比，判断分割数据的精确性，进而确保图数据的准确性。

【技术实现步骤摘要】
一种基于层次化大规模图数据的运算系统
本专利技术属于大规模图数据处理领域，涉及一种基于层次化大规模图数据的运算系统。
技术介绍
在大数据挖掘时代，图不仅可以直接描述计算机科学、化学以及生物信息学等领域的许多现实应用，例如社交网络、web(网页)图、化学物质以及生物结构等，同时也可以用来描述各种数据挖掘算法，例如矩阵分解或最短路径等等。其中，图包括多个节点以及连接各个节点的边，图数据包括各个节点的节点数据以及连接各个节点的边的边数据，一条边的边数据包括构成该条边的源节点、目的节点和该条边的权值。在单机图计算处理平台(即采用单个计算机进行图计算的处理平台)中，由于单个计算机的本地内存的内存容量有限，当需要计算的图数据的数据量超过该内存容量时，需要对图数据中的边数据进行处理，得到多个边数据块，一个边数据块包括一个或多个边数据。目前，在对图数据中的边数据进行处理时，采用固定的方法，使得计算机在对一个边数据块中的节点的节点数据进行计算时，若无法直接获取与该节点相关的边数据，则需要对该边数据块中的边数据的排列顺序进行调整才可以得到需要的边数据。例如，在GraphChi(一种单机图计算处理平台)中，由于在图计算时是以目的节点为中心的计算模式，因此，计算机按照目的节点的ID(标识)由小至大的顺序将图数据中的边数据分割为多个边数据块(在GraphChi中称为Shard)，对应同一目的节点的全部边数据被分割在一个边数据块中，但是分割的规则不同得到的边数据块不同，造成最终合并时得到的数据准确率较低。
技术实现思路
本专利技术的目的在于提供一种基于层次化大规模图数据的运算系统，该系统通过对图数据进行预处理后按照图数据的相邻节点进行分割，然后将分割后的图数据进行整合，并且对预处理图数据进行边界几点采集，得到原始边界，同时将原始边界与整合数据进行对比，判断分割数据的精确性，进而确保图数据的准确性。本专利技术的目的可以通过以下技术方案实现：一种基于层次化大规模图数据的运算系统，包括图数据采集单元、图数据分析单元、图数据管理单元；所述图数据采集单元用于采集大规模的图数据，并将图数据通过中值滤波进行噪声过滤处理，然后将处理后的图数据传输至图数据分析单元和图数据管理单元；所述图数据分析单元对预处理的图数据进行规整分隔为不同的子数据，同时子数据分发给相应的计算节点，然后将每个计算节点计算得到的结果进行统计，并将统计的结果进行合并，各计算节点计算的数据、合并后的数据传输至图数据管理单元；所述图数据管理单元将预处理图数据进行计算，同时将计算的结果与图数据分析单元中通过分隔合并后的计算结果进行对比，确定其相似度，相似度大于80％时，则将合并后的数据传输至用户，若相似度小于80％则直接向图数据分析单元发出警示，图数据分析单元重新进行图数据的分割，直到达到分隔合并后计算结果与直接对预处理图数据进行计算的结果相似度大于80％。进一步地，所述图数据分析单元包括图数据分割模块、统计模块、图数据合并模块；图数据分割模块是将预处理后的图数据中两两相连接的图节点进行划分，根据总两两节点的数目，从图数据的一边界开始将相邻的一定数目的两两节点作为一个子图数据进行逐个分隔，其中每个子图数据两两节点之间又可以形成一个边界节点，边界几点连接形成超边；统计模块是将分割得到的多个超边进行统计随机整合；图数据合并模块是将随机整合后的各个子图数据超边的节点进行合并形成总超边，进而得到计算数据。进一步地，每个所述子图数据中两两节点的数目为总两两节点数目的10％-20％。进一步地，所述图数据管理单元包括运算模块、对比模块、警示模块，运算模块是对预处理图数据的边界图节点进行提取，得到原始边界；对比模块是将图数据合并模块中合并得到的多个总超边进行比对，总超边的边界节点与原始边界节点的重合率达到80％以上时，则将该合并计算结果传输至用户，若小于80％则通过警示模块对图数据分割模块发出警示，图数据分割模块重新选择边界点进行图数据的分隔，直到最终的比对结果大于80％为止。本专利技术的有益效果：该系统通过对图数据进行预处理后按照图数据的相邻节点进行分割，然后将分割后的图数据进行整合，并且对预处理图数据进行边界几点采集，得到原始边界，同时将原始边界与整合数据进行对比，判断分割数据的精确性，进而确保图数据的准确性。附图说明为了便于本领域技术人员理解，下面结合附图对本专利技术作进一步的说明。图1为本专利技术图数据运算系统示意图。具体实施方式一种基于层次化大规模图数据运算系统，如图1所示，包括图数据采集单元、图数据分析单元、图数据管理单元；图数据采集单元用于采集大规模的图数据，并将图数据通过中值滤波进行噪声过滤处理，然后将处理后的图数据传输至图数据分析单元和图数据管理单元；图数据分析单元对预处理的图数据进行规整分隔为不同的子数据，同时子数据分发给相应的计算节点，然后将每个计算节点计算得到的结果进行统计，并将统计的结果进行合并，各计算节点计算的数据、合并后的数据传输至图数据管理单元；图数据分析单元包括图数据分割模块、统计模块、图数据合并模块；图数据分割模块是将预处理后的图数据中两两相连接的图节点进行划分，根据总两两节点的数目，从图数据的一边界开始将相邻的一定数目的两两节点作为一个子图数据进行逐个分隔，其中每个子图数据中两两节点的数目为总两两节点数目的10％-20％，每个子图数据两两节点之间又可以形成一个边界节点，边界几点连接形成超边；统计模块是将分割得到的多个超边进行统计随机整合；图数据合并模块是将随机整合后的各个子图数据超边的节点进行合并形成总超边，进而得到计算数据；图数据管理单元将预处理图数据进行计算，同时将计算的结果与图数据分析单元中通过分隔合并后的计算结果进行对比，确定其相似度，相似度大于80％时，则将合并后的数据传输至用户，若相似度小于80％则直接向图数据分析单元发出警示，图数据分析单元重新进行图数据的分割，直到达到分隔合并后计算结果与直接对预处理图数据进行计算的结果相似度大于80％；图数据管理单元包括运算模块、对比模块、警示模块，运算模块是对预处理图数据的边界图节点进行提取，得到原始边界；对比模块是将图数据合并模块中合并得到的多个总超边进行比对，总超边的边界节点与原始边界节点的重合率达到80％以上时，则将该合并计算结果传输至用户，若小于80％则通过警示模块对图数据分割模块发出警示，图数据分割模块重新选择边界点进行图数据的分隔，直到最终的比对结果大于80％为止。以上公开的本专利技术优选实施例只是用于帮助阐述本专利技术。优选实施例并没有详尽叙述所有的细节，也不限制该专利技术仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本专利技术的原理和实际应用，从而使所属
技术人员能很好地理解和利用本专利技术。本专利技术仅受权利要求书及其全部范围和等效物的限制。本文档来自技高网...

【技术保护点】
一种基于层次化大规模图数据的运算系统，其特征在于，包括图数据采集单元、图数据分析单元、图数据管理单元；所述图数据采集单元用于采集大规模的图数据，并将图数据通过中值滤波进行噪声过滤处理，然后将处理后的图数据传输至图数据分析单元和图数据管理单元；所述图数据分析单元对预处理的图数据进行规整分隔为不同的子数据，同时子数据分发给相应的计算节点，然后将每个计算节点计算得到的结果进行统计，并将统计的结果进行合并，各计算节点计算的数据、合并后的数据传输至图数据管理单元；所述图数据管理单元将预处理图数据进行计算，同时将计算的结果与图数据分析单元中通过分隔合并后的计算结果进行对比，确定其相似度，相似度大于80％时，则将合并后的数据传输至用户，若相似度小于80％则直接向图数据分析单元发出警示，图数据分析单元重新进行图数据的分割，直到达到分隔合并后计算结果与直接对预处理图数据进行计算的结果相似度大于80％。

【技术特征摘要】
1.一种基于层次化大规模图数据的运算系统，其特征在于，包括图数据采集单元、图数据分析单元、图数据管理单元；所述图数据采集单元用于采集大规模的图数据，并将图数据通过中值滤波进行噪声过滤处理，然后将处理后的图数据传输至图数据分析单元和图数据管理单元；所述图数据分析单元对预处理的图数据进行规整分隔为不同的子数据，同时子数据分发给相应的计算节点，然后将每个计算节点计算得到的结果进行统计，并将统计的结果进行合并，各计算节点计算的数据、合并后的数据传输至图数据管理单元；所述图数据管理单元将预处理图数据进行计算，同时将计算的结果与图数据分析单元中通过分隔合并后的计算结果进行对比，确定其相似度，相似度大于80％时，则将合并后的数据传输至用户，若相似度小于80％则直接向图数据分析单元发出警示，图数据分析单元重新进行图数据的分割，直到达到分隔合并后计算结果与直接对预处理图数据进行计算的结果相似度大于80％。2.根据权利要求1所述的一种基于层次化大规模图数据的运算系统，其特征在于，所述图数据分析单元包括图数据分割模块、统计模块、图数据合并模块；图数据分割模块是将预...

【专利技术属性】
技术研发人员：姚伟强，周基初，张宇，郑凯，
申请(专利权)人：合肥亚慕信息科技有限公司，
类型：发明
国别省市：安徽,34