一种分布式级联流式三角形计数方法技术

本发明专利技术提出一种分布式级联流式三角形计数方法，以超立方体构建网络中各工作节点的拓扑结构并进行编码；第一层工作节点的计数分别被哈希到子集合，表示三角形的3条边都在同一个集合；第二层工作节点的计数分别被哈希到2个子集合的交集，表示三角形的3条边存在两个不同的集合；第三层工作节点的计数分别被哈希到3个子集合的交集，表示三角形的3条边存在三个不同的集合；最后一层连接1个工作节点作为聚合节点用于汇聚求和；最后通过基于水库采样的方法在超立方体拓扑结构的工作节点之间进行路由和寻址从而对当前流式数据中三角形的计数，通过超立方体实现工作节点之间的路由和寻址，使得每个工作节点在都能获得均衡的负载并能提升计数准确率。并能提升计数准确率。并能提升计数准确率。

【技术实现步骤摘要】
一种分布式级联流式三角形计数方法


[0001]本专利技术属于分布式计算、流式数据处理、图计算技术，具体涉及一种分布式级联流式三角形计数技术。

技术介绍

[0002]互联网发展到今日，数以十亿计的用户之间每日都会产生大量的交互，网络上大量的网页之间也有着复杂的超链接关系，由此而产生了规模巨大的数据，用传统的形式难以捕捉和分析，而图作为一种能够清晰地揭示数据节点之间的关系的数据结构，成为了一种非常有用的数据表现形式，在社交网络分析、推荐系统、用户画像等领域都有着巨大的研究潜力，因此挖掘和分析图数据在学术界和工业界都引起了许多研究人员的兴趣，例如连通性问题子图匹配问题和局部拓扑结构(如三角形)的计数问题等。三角形计数作为图数据的属性之一。三角形计数的任务虽然简单，但大多数现有的计算三角形数量的单机算法并不能很好地扩展到具有数百万个顶点的大规模网络中去，因此在面对如今动辄含上千万顶点和边的图数据时，随着数据的累积会逐渐显露出其受单机存储空间和计算能力的影响。这个问题近年来受到了数据挖掘界的广泛关注，许多研究人员提出了各种大规模网络中的三角形计数方法，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式级联流式三角形计数方法，其特征在于，包括以下步骤：1)以超立方体构建网络中各工作节点的拓扑结构；超立方体拓扑结构中源节点直接连接有4个第一层工作节点，第一层工作节点的计数分别被哈希到子集合{0}、{1}、{2}、{3}，用于表示三角形的3条边都在同一个集合；间接连接6个第二层工作节点，第二层工作节点的计数分别被哈希到2个哈希子集合的交集{0}∩{1}、{0}∩{2}、{0}∩{3}、{1}∩{2}、{1}∩{3}、{2}∩{3}，用于表示三角形的3条边存在两个不同的集合；第三层连接4个第三层工作节点；第三层工作节点的计数分别被哈希到3个哈希子集合的交集{0}∩{1}∩{2}、{0}∩{1}∩{3}、{0}∩{2}∩{3}、{1}∩{2}∩{3}，用于表示三角形的3条边存在三个不同的集合；最后一层连接1个工作节点作为聚合节点用于汇聚求和；2)对超立方体构建网络中各工作节...

【专利技术属性】
技术研发人员：宋超，胡瑞林，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：