基于启发式遍历的超级计算机大数据处理能力测试方法技术

技术编号:20992407 阅读:24 留言:0更新日期:2019-04-29 22:26
本发明专利技术公开了一种基于启发式遍历的超级计算机大数据处理能力测试方法,提高超级计算机大数据处理能力测试速度。技术方案是生成图,构建图的邻接矩阵,通过预处理确定各顶点的度数,基于顶点度数进行启发式遍历搜索,若在同层遍历时已经全数搜索到满足顶点度数的边联系则提前退出当前节点子节点的遍历,不继续遍历其它子节点,而是直接进行下一层遍历。采用本发明专利技术可避免盲目遍历,减少不必要的搜索,避免不必要的访存,加快对图的遍历,提高超级计算机大数据处理能力测试速度。

A Heuristic Ergodic Test Method for Large Data Processing Capability of Supercomputers

The invention discloses a test method of supercomputer large data processing capability based on heuristic traversal, which improves the test speed of supercomputer large data processing capability. The technical scheme is to generate a graph, construct the adjacency matrix of the graph, determine the degree of each vertex by pretreatment, and carry out heuristic traversal search based on the degree of vertex. If all the edge connections satisfying the degree of vertex have been searched in the same traversal level, the traversal of the current node's sub-nodes will be withdrawn ahead of time, instead of traversing other sub-nodes, the next level traversal will be carried out directly. The invention can avoid blind traversal, reduce unnecessary search, avoid unnecessary memory access, speed up the traversal of graphs, and improve the testing speed of supercomputer large data processing ability.

【技术实现步骤摘要】
基于启发式遍历的超级计算机大数据处理能力测试方法
本专利技术涉及超级计算机大数据处理能力测试方法,尤指基于启发式遍历的超级计算机大数据处理能力测试方法。
技术介绍
图结构是大数据应用中最重要的数据结构之一,在众多领域中得到广泛的应用,如社交媒体、生物信息学、天体物理学、人工智能、数据挖掘等等。这些应用的共同特点是数据量大和结构复杂,往往可以达到数十亿个边和数万亿个节点,这导致在数据存储和计算力方面具有更高的需求。超级计算机主要用于数值计算,大多数HPC基准测试都是以计算力作为衡量标准,如Top500采用的HPL;在数据密集型应用广泛兴起的大数据时代,Graph500作为Top500的重要补充,是测试超级计算机计算能力的新的基准测试程序。Graph500以每秒遍历图中边的数量(TEPS)来衡量超级计算机的大数据处理能力,并且遍历之前的预处理不计入耗时。Graph500基准测试程序由图生成、图建立、BFS搜索与验证、结果输出四部分组成,如图1所示。(1)图生成:程序通过Kronecker图生成器生成一系列边元组信息,图的规模由用户输入的参数SCALE、edgefactor确定,其中,SC本文档来自技高网...

【技术保护点】
1.一种基于启发式遍历的超级计算机大数据处理能力测试方法,其特征在于包括以下步骤:第一步、生成随机图结构G=(V,E),V为顶点集合,其中包含NV个顶点,NV为正整数,E为边集合,E中包含NE条边,NE为正整数;第二步、构建图G的邻接矩阵A,Aij=0表示顶点i与顶点j之间没有边,Aij=1表示顶点i与顶点j之间有边,0≤i≤NV‑1,0≤j≤NV‑1,i和j均为正整数;第三步、预处理,确定各顶点的度数,具体方法如下:遍历V中每个顶点,记录每个顶点的度数,得到二元组集合

【技术特征摘要】
1.一种基于启发式遍历的超级计算机大数据处理能力测试方法,其特征在于包括以下步骤:第一步、生成随机图结构G=(V,E),V为顶点集合,其中包含NV个顶点,NV为正整数,E为边集合,E中包含NE条边,NE为正整数;第二步、构建图G的邻接矩阵A,Aij=0表示顶点i与顶点j之间没有边,Aij=1表示顶点i与顶点j之间有边,0≤i≤NV-1,0≤j≤NV-1,i和j均为正整数;第三步、预处理,确定各顶点的度数,具体方法如下:遍历V中每个顶点,记录每个顶点的度数,得到二元组集合D中第i个元素<vi,deg(vi)>表示顶点vi的度数为deg(vi),即有deg(vi)个顶点与顶点vi之间有边;第四步、利用顶点度数进行启发式遍历搜索,具体方法如下:4.1.数据结构定义,具体方法如下:4.1.1.定义未被访问的顶点集合Vns=V;4.1.2.定义顶点度数中间集合D-tmp=D;4.1.3.定义被访问过的顶点集合4.1.4.定义当前层顶点集合4.1.5.定义当前层子节点集合4.1.6.定义子节点集合表示顶点vi的子节点集合;4.1.7.在V中随机选定一个顶点vr作为树根节点,即源顶点,r=0,1,…,NV-1;4.1.8.令树根节点vr的子节点集合的集合4.1.9.将顶点vr加入已被访问过的顶点集合中,Vs=Vs+{vr};4.1.10.将顶点vr加入当前顶点集合中,即Cur=Cur+{vr};4.2.循环遍历,每次循环输出一棵生成树,具体方法如下:4.2.1.定义循环变量k=0;4.2.2.获取系统时刻t1;4.2.3.若k<64,转4.3;否则,转第五步;4.3.同层遍历,基于顶点度数启发式地遍历搜索Cur中节点的子节点,若已经全数搜索到满足顶点度数的边联系则提前退出当前节点子节点的遍历,不继续遍历其它子节点,具体方法如下:4.3.1.令4.3.2.若执行4.3.3,否则,转4.4;4.3.3.在Cur中任取一个顶点vi,记为当前根节点vcs,cs=0,1,…,NV;4.3.4.从Cur中删除vcs,即Cur=Cur-{...

【专利技术属性】
技术研发人员:甘新标曾瑞庚吴涛杨志辉孙泽文刘杰龚春叶李胜国杨博徐涵晏益慧
申请(专利权)人:中国人民解放军国防科技大学
类型:发明
国别省市:湖南,43

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1