一种基于活跃度布局的图处理访存优化方法及系统技术方案

本发明专利技术公开了一种基于活跃度布局的图处理访存优化方法及系统，属于计算机数据处理技术领域，包括：获得待处理的目标图的数据后，按照中介中心性降序顺序对顶点排序，并根据活跃百分比将排序结果划分为活跃顶点集和不活跃顶点集；将活跃顶点集聚集组织并存储；将不活跃顶点集聚集组织并存储后，将其等分为多个大小为C的顶点块，并将对应的出边切分为多个边块，每个边块包括一个或多个编号连续的顶点的出边，且每个边块不小于C，同时维护状态表TActvB和TActeB，以筛除不活跃顶点集中的无用数据；TActvB用于记录各顶点块的活跃性，TActeB用于记录各边块的活跃性及下一边块的偏移量。本发明专利技术能够减少图应用执行过程中的访存等待时间，提高图处理效率。

An optimization method and system of graph processing and memory access based on activity layout

【技术实现步骤摘要】
一种基于活跃度布局的图处理访存优化方法及系统
本专利技术属于计算机数据处理
，更具体地，涉及一种基于活跃度布局的图处理访存优化方法及系统。
技术介绍
作为计算机科学中一种重要的数据结构，图可以清晰地描述各种事物之间的关系，因此使用图模型分析复杂数据的方法越来越流行。图被广泛应用到社会生活的很多领域中，并帮助解决这些领域产生的复杂问题，比如交通领域的最优路线，生物医学领域的蛋白质分子结构分解，社交网络领域的社区发现，以及当前火热的知识图谱、数据挖掘、语义网络、链接预测等。随着大数据时代的到来，伴随这些领域产生图数据的规模也在迅速增长。比如2018年社交网络Facebook宣布全年月度活跃用户数已达23.2亿，占据了世界四分之一的人口数量。随着图数据规模的迅速增长，出现了很多专用的高效图处理系统，其中外存模式图处理系统可以使用廉价低速的外存存储数据，通过一些数据布局或者系统优化工作提高访存速度，在单机环境下就可以处理拥有数亿条边规模的图数据。单机外存模式因为内存有限，无法一次性将数据从外存载入内存直接处理，只能将存储在外存上的数据进行本文档来自技高网...

【技术保护点】
1.一种基于活跃度布局的图处理访存优化方法，其特征在于，包括：/n获得待处理的目标图的数据后，按照中介中心性降序顺序对所述目标图中的顶点进行排序，并根据预设的活跃百分比将排序后的顶点划分为活跃顶点集和不活跃顶点集；所述活跃顶点集中顶点的中介中心性高于所述不活跃顶点集中顶点的中介中心性；/n将所述活跃顶点集中的顶点聚集组织并存储；/n将所述不活跃顶点集中的顶点聚集组织并存储后，将所述不活跃顶点集等分为多个大小为C的顶点块，并将不活跃顶点集所对应的出边切分为多个边块，每个边块包括一个或多个编号连续的顶点的出边，且每个边块的大小不小于C，同时维护状态表TActvB和状态表TActeB，以筛除所述不活...

【技术特征摘要】
1.一种基于活跃度布局的图处理访存优化方法，其特征在于，包括：
获得待处理的目标图的数据后，按照中介中心性降序顺序对所述目标图中的顶点进行排序，并根据预设的活跃百分比将排序后的顶点划分为活跃顶点集和不活跃顶点集；所述活跃顶点集中顶点的中介中心性高于所述不活跃顶点集中顶点的中介中心性；
将所述活跃顶点集中的顶点聚集组织并存储；
将所述不活跃顶点集中的顶点聚集组织并存储后，将所述不活跃顶点集等分为多个大小为C的顶点块，并将不活跃顶点集所对应的出边切分为多个边块，每个边块包括一个或多个编号连续的顶点的出边，且每个边块的大小不小于C，同时维护状态表TActvB和状态表TActeB，以筛除所述不活跃顶点集中的无用数据；所述状态表TActvB用于记录各顶点块的活跃性，所述状态表TActeB用于记录各边块的活跃性以及下一个边块的偏移量；
其中，C为Cacheline的大小。


2.如权利要求1所述的基于活跃度布局的图处理访存优化方法，其特征在于，还包括：
在访问所述不活跃顶点集时，依次获取每一个顶点块，并根据所述状态表TActvB获取顶点块的活跃性，对于不活跃的顶点块，不进行操作；
对于每一个活跃的顶点块verticesBlock，遍历其中的顶点；对于所遍历到的顶点，判断其活跃性，若为活跃顶点，则从更新表中获得该顶点的更新值以计算该顶点的新值，并利用所计算的新值更新顶点表；若所遍历到的顶点为不活跃顶点，则不进行操作；
在访问所述不活跃顶点所对应的出边时，依次获取每一个边块，并根据状态表TActeB获取边块的活跃性，对于不活跃的边块，不进行操作；
对于每一个活跃的边块edge...

【专利技术属性】
技术研发人员：施展，冯丹，王芳，朱涛，单玉祥，龚慧媛，黄世财，吴雨桐，何雨迪，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42