面向大规模图迭代计算的分段差值压缩与惰性解压方法技术

本发明专利技术公开了一种面向大规模图迭代计算的分段差值压缩与惰性解压方法，涉及高频迭代计算中的大规模图数据压缩技术领域。方法包括基于聚簇分布特性的分段差值压缩过程和基于惰性解压机制的按需解压过程。基于图的出边具有聚簇分布这一特性将邻接表的出边序列按照聚簇进行分段，基于分段差值压缩，设计了按需解压的惰性解压技术，可灵活处理解压问题。对于特定顶点的消息发送只需要找到该分段对应的字典值以及对应的差值就可以完成解压缩过程，无需对边表进行完全解压；而在面对动态变化的图数据时，本方法可以做到直接对变化的顶点数据更新，不需要将整个图数据全部重新排序并压缩。并压缩。并压缩。

【技术实现步骤摘要】
面向大规模图迭代计算的分段差值压缩与惰性解压方法


[0001]本专利技术涉及高频迭代计算中的大规模图数据压缩
，具体涉及一种面向大规模图迭代计算的分段差值压缩与惰性解压方法。

技术介绍

[0002]图作为计算机学科最常用的数据结构，特别适合表达真实世界的不同实体(顶点)及其关联关系(边)。而由此衍生的复杂网络拓扑结构导致与图相关的查询通常需要迭代计算，即沿边对顶点进行循环或递归处理，直到满足收敛条件。图迭代分析计算已被广泛应用于国计民生的各个领域，如军事定位与城市规划(最短路径计算、直径估算、BFS遍历)，社交网络分析(连通域发现)和电子商务交易(最大匹配、Absorption推荐)等。
[0003]在大数据时代，随着计算机软硬件技术的迅猛发展，图数据的规模(尤其是关联关系——边)日益增大，庞大的数据量已经远远超出单机的内存容量，致使很多基于图上的算法无法高效运行，给大图分析处理带来前所未有的挑战。在这样的背景下，如何在图数据上进行有效的数据管理与分析，具有重要的研究与实际价值。
[0004]目前关于大图数据存储管理的的三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.面向大规模图迭代计算的分段差值压缩与惰性解压方法，其特征在于，包括基于聚簇分布特性的分段差值压缩过程和基于惰性解压机制的按需解压过程；基于聚簇分布特性的分段差值压缩过程包括以下步骤：Step1：给定差值阈值/聚簇范围记为α，对每一个顶点的边表都维护一个字典Dic
i
和差分序列Dif
i
；Step2：将顶点v
i
的边表中第1个邻接顶点v
i,0
写入字典Dic
i
，记temp＝v
i,0
，并在差分序列Dif
i
中写入第一个元素0；Step3：依次对边表中后续的邻接顶点计算v
i,j
‑
temp，若|v
i,j
‑
temp|＜α，则将计算的差值写入到差分序列Dif
i
中，继续计算下一个邻接顶点；否则，将该邻接顶点v
i,j
写入字典Dic
i
，记temp＝v
i,j
，并在差分序列Dif
i
中写入一个0，重复步骤Step3；Step4：对每一个顶点都执行Step2、Step3，直到遍历完整个邻接表；基于惰性解压机制的按需解压过程的迭代过程包括起始阶段和收敛阶段，起始阶段活跃顶点数快速增加，在几个迭代步内达到峰值然后进入收敛阶段，在之后的迭代步中图算法慢慢收敛直至结束；在收...

【专利技术属性】
技术研发人员：王志刚，尹怀胜，殷波，王宁，聂捷，魏志强，宋德海，田浩，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：