用于处理数据的方法、系统、装置和介质制造方法及图纸

公开了一种处理数据的方法。该方法包括获取最新周期的新增数据，生成增量图，将该增量图划分到多个计算节点以生成最新版本的部分增量图，从持久存储加载先前版本的部分增量图并对最新版本和先前版本的部分增量图执行处理。还公开了处理资金流转数据的方法、相应的系统、装置和介质。装置和介质。装置和介质。

【技术实现步骤摘要】
用于处理数据的方法、系统、装置和介质


[0001]本申请涉及图模型，尤其涉及用于使用图模型来处理数据的方法、系统、装置和介质。

技术介绍

[0002]如今，图模型已经得到了广泛的利用。例如，图模型已被应用于用户行为理解、智能客服、信贷理财、资金流动跟踪等等各种应用场景。图通常由顶点和边组成，其中顶点和边分别表示实体和实体间的关系。一些实体和边可能具有属性。
[0003]在一些应用场景中，图模型随时间增长。例如，资金网络可被表示为图模型，而随着新的资金流动，资金网络的规模将会变大。利用图模型对资金网络进行分析可被用于反洗钱、贷后资金管控等金融风控场景。对于许多支付平台等金融平台而言，每天的资金流动行为数量巨大，对应的图模型的规模快速增长。这对系统的IO资源、内存资源、处理器资源、网络资源、系统容量等带来了巨大挑战。
[0004]在其它类型的随时间增长的图模型中同样存在类似问题。
[0005]因此，需要能够以较少的资源高效地处理增长数据的方案。

技术实现思路

[0006]为了克服现有技术的缺陷，本说明书的一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理数据的方法，包括：获取最新周期的增量数据；基于所述增量数据生成最新版本的增量图；将所述增量图划分到多个计算节点，其中所述多个计算节点的每个计算节点的内存中存储所述增量图的一部分，以生成最新版本的部分增量图；从相应计算节点的持久存储读取多个先前版本的部分增量图，所述最新版本和所述多个先前版本共同构成活跃版本；以及在相应计算节点处使用图策略算法对所述活跃版本执行处理。2.如权利要求1所述的方法，其中将所述增量图划分到多个计算节点包括采用邻居表的方式将所述增量图划分到所述多个计算节点的内存中。3.如权利要求1所述的方法，其中从相应计算节点的持久存储读取多个先前版本的部分增量图包括采用延迟载入的方式执行所述读取。4.如权利要求1所述的方法，其中使用图策略算法对所述活跃版本执行处理包括执行所述活跃版本中的时序路径的新增、删除和更新中的一者或多者。5.如权利要求1所述的方法，其中使用图策略算法对所述活跃版本执行处理包括采用基于顶点编程的遍历算法对所述最新版本的部分增量图中的顶点执行遍历。6.如权利要求5所述的方法，进一步包括：对被遍历到的每个顶点：获取该顶点的时间有序出边集合；以及依次遍历所述时间有序出边集合中的每条出边，并对该遍历到的出边调用图策略算法来执行处理。7.如权利要求6所述的方法，其中对所述活跃版本中的顶点执行遍历包括：判断是否满足终止条件，且在满足终止条件时停止遍历。8.如权利要求1所述的方法，进一步包括：将经处理的所述活跃版本存储到所述持久存储。9.如权利要求1所述的方法，进一步包括：以先进先出的次序，按滑动窗口方式将所述最新版本更新到所述持久存储。10.如权利要求1所述的方法，进一步包括：使用KKV存储引擎来在所述持久存储中执行存储，其中在所述KKV存储引擎中第一主键K1为顶点ID，第二主键K2为版本，值V为路径数据。11.一种用于处理资金流转数据的方法，包括：接收最新周期的资金流转数据，所述资金流转数据包括多个资金池实体以及所述多个资金池实体之间的资金流转关系；基于所述资金流转数据生成最新版...

【专利技术属性】
技术研发人员：唐坤，易鹏，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：