一种数据延迟发送的NUMA架构时变图处理方法与装置制造方法及图纸

本发明专利技术公开了一种数据延迟发送的NUMA架构时变图处理方法与装置，首选基于基线快照建立初始的时变图数据表示；根据更新快照以更新时变图数据表示，并构建快照并集；基于快照并集，在NUMA节点内部进行迭代计算，更新并累积顶点数据；将累积的顶点数据传播到其他NUMA节点以更新其他顶点数据；循环上述步骤，直至每个NUMA节点内没有可计算的活动顶点，对每个NUMA节点输出的结果进行聚合，完成NUMA架构时变图的处理。本发明专利技术关注了服务器的NUMA结构特征，实现了数据的合理分配以及数据包的灵活传输，降低了NUMA节点间的通信频率，提高计算资源的利用率，使时变图的计算效率得到显著提高。高。高。

【技术实现步骤摘要】
一种数据延迟发送的NUMA架构时变图处理方法与装置


[0001]本专利技术属于时变图处理
，具体涉及一种数据延迟发送的NUMA架构时变图处理方法与装置。

技术介绍

[0002]图作为一种有效描述大数据的数据结构，在互联网分析、社交网络分析、推荐网络分析等领域都起着巨大的作用，现实中许多复杂的计算问题都可以转化成一个基于图的问题，并且使用图的相关算法就可以轻松解决。但是，现实世界无时无刻都在发生改变，所以单纯地只处理静态图并不能很好地满足社会的需要，还需要做到能够对时变图进行快速地分析。所谓时变图，也称时序图，由多张快照组成，并且这些快照在时间上是连续的，每一张快照都表示为原始图在演变过程中某个时刻的图结构状态。通过快速分析对时变图快照间的内在联系，就能够帮助人们预测现实世界未来的发展趋势，为电商、社交等不同领域提供决策支持。
[0003]NUMA（Non
‑
uniform memory access）架构，是指计算机的系统架构由多个节点组成，而每个节点内部拥有多个CPU，节点内部的CPU使用共有的内存控制器，节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据延迟发送的NUMA架构时变图处理方法，其特征在于，所述方法包括以下步骤：（1）基于基线快照建立初始的时变图数据表示；（2）根据更新快照以更新步骤（1）构建的时变图数据表示，并构建快照并集；（3）基于步骤（2）构建的快照并集，在NUMA节点内部进行迭代计算，更新并累积顶点数据；（4）将步骤（3）更新并累积的顶点数据传播到其他NUMA节点以更新其他顶点数据；（5）循环执行步骤（3）~（4），直至每个NUMA节点内没有可计算的活动顶点，对每个NUMA节点输出的结果进行聚合，完成NUMA架构时变图的处理。2.根据权利要求1所述的数据延迟发送的NUMA架构时变图处理方法，其特征在于，所述步骤（1）具体包括以下子步骤：（1.1）创建一个线程池，所述线程池的容量为服务器中的CPU数量，并将线程池中的各个线程平均分配并绑定到对应的NUMA节点中；（1.2）把图分成互不相交的图分区，所述图分区的数量为服务器中的NUMA节点数量;读取基线快照文件，根据依次读取到的边的源顶点ID，通过对其进行求余操作计算出此源顶点所属的图分区，并将此边添加到这个图分区对应的NUMA节点中任务数量较少的线程对应的任务队列中；（1.3）读取完基线快照文件后，线程池中的所有线程开始执行自己任务队列中的任务，在各个NUMA节点中构建对应的图分区，得到初始的时变图数据表示。3.根据权利要求1所述的数据延迟发送的NUMA架构时变图处理方法，其特征在于，所述步骤（2）具体包括以下子步骤：（2.1）读取后续的更新快照，根据依次读取到的边的源顶点ID，通过对其进行求余操作计算出此顶点所属的图分区，并将此边添加到这个图分区对应的NUMA节点中任务数量较少的线程的任务队列；（2.2）循环步骤（2.1），读取全部的更新快照，启动线程池中的线程，每条线程执行自己任务队列中的任务以更新各个图分区以构建快照并集。4.根据权利要求1或3所述的数据延迟发送的NUMA架构时变图处理方法，其特征在于，所述快照并集中包含了所有在时变图多快照中出现过的顶点和边，并且每个顶点或边都只存储一次，不会重复存储。5.根据权利要求1所述的数据延迟发送的NUMA架构时变图处理方法，其特征在于，所述步骤（3）具体为：基于步骤（2）构建的快照并集，在每个NUMA节点内迭代计算的过程中，每个NUMA节点使用计数器统计下一次在各自NUMA节点内要迭代计算的活动顶点的数量，并且在当前活动的顶点在计算完后更新...

【专利技术属性】
技术研发人员：程永利，陈光，曾令仿，程宏才，陈兰香，李勇，朱健，张云云，张丽颖，
申请(专利权)人：之江实验室，
类型：发明
国别省市：