分布式数据处理方法、装置及设备制造方法及图纸

本说明书实施例提供了一种分布式数据处理方法、装置及设备，其中方法包括：确定目标图数据中当前参与数据处理的活跃顶点集合，若第一分布式节点的外存中保存有活跃顶点集合中的任意活跃顶点，则确定预设的多个数据处理模式中与活跃顶点集合相匹配的目标数据处理模式；根据目标数据处理模式，确定与任意活跃顶点具有关联关系的待更新顶点；根据第一分布式节点的外存中的该任意活跃顶点的第一数据，向待更新顶点所在的目标分布式节点发送第一更新消息，以使目标分布式节点根据第一更新消息对其外存中的待更新顶点的第二数据进行更新处理。处理。处理。

【技术实现步骤摘要】
分布式数据处理方法、装置及设备


[0001]本文件涉及数据处理
，尤其涉及一种分布式数据处理方法、装置及设备。

技术介绍

[0002]由于单机内的数据处理方式不涉及网络通信和数据交互，因此具有数据处理简单方便、性能高等优点。基于此优点，单机内的数据处理方式也成为了当前主流的数据处理方式。然而，随着互联网技术的飞速发展，各行各业的数据规模呈现剧增态势，数据处理需要较多资源，当前主流的单机内的数据处理方式由于资源有限，已无法满足当前大数据的处理需求。

技术实现思路

[0003]本说明书一个或多个实施例提供了一种分布式数据处理方法。该方法包括确定目标图数据中当前参与数据处理的活跃顶点集合。其中，所述目标图数据是预先基于多个关联的目标事件的事件信息生成。所述事件信息包括相应目标事件的多个事件要素。所述目标图数据的每个顶点对应一个所述事件要素。所述目标图数据的每条边连接具有关联关系的所述顶点。若第一分布式节点的外存中保存有所述活跃顶点集合中的任意活跃顶点，则确定预设的多个数据处理模式中与所述活跃顶点集合相匹配的目标数据处理模式。根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据处理方法，包括：确定目标图数据中当前参与数据处理的活跃顶点集合；其中，所述目标图数据是预先基于多个关联的目标事件的事件信息生成，所述事件信息包括相应目标事件的多个事件要素；所述目标图数据的每个顶点对应一个所述事件要素，所述目标图数据的每条边连接具有关联关系的所述顶点；若第一分布式节点的外存中保存有所述活跃顶点集合中的任意活跃顶点，则确定预设的多个数据处理模式中与所述活跃顶点集合相匹配的目标数据处理模式；根据所述目标数据处理模式，确定与所述任意活跃顶点具有所述关联关系的待更新顶点；根据所述外存中的所述任意活跃顶点的第一数据，向所述待更新顶点所在的目标分布式节点发送第一更新消息，以使所述目标分布式节点根据所述第一更新消息对其外存中的所述待更新顶点的第二数据进行更新处理。2.根据权利要求1所述的方法，所述确定目标图数据中当前参与数据处理的活跃顶点集合之前，还包括：接收指定设备发送的分片数据和目标图数据的属性信息，所述分片数据由所述指定设备按照预设的数据划分方式对所述目标图数据进行划分处理所得；将所述分片数据和所述属性信息保存至所述第一分布式节点的外存中；或者，若确定所述第一分布式节点具有预处理权限，则根据预设的数据划分方式对所述目标图数据进行划分处理，得到待分配给所在分布式系统中的每个分布式节点的分片数据；将所述分片数据和所述目标图数据的属性信息发送给所述分布式系统中的每个分布式节点，以使所述分布式节点将所述分片数据和所述属性信息保存至外存中。3.根据权利要求2所述的方法，所述顶点包括入点和出点，将所述目标图数据中的每条边确定为有向边，所述有向边由所述入点指向所述出点；所述有向边是所述入点的出边，所述有向边是所述出点的入边；所述分片数据包括划分的顶点子集、所述顶点子集中各顶点的入边所对应的入边集合、所述顶点子集中各顶点的出边所对应的出边集合、所述顶点子集中每个顶点的主备份、与所述顶点子集中每个顶点构成所述有向边的顶点的镜像备份；其中，所述主备份包括相应顶点所对应的事件要素的要素数据，所述镜像备份用于传递消息；所述属性信息包括所述目标图数据的边的第一数量、所述目标图数据中每个顶点的出边的第二数量。4.根据权利要求3所述的方法，所述确定预设的多个数据处理模式中与所述活跃顶点集合相匹配的目标数据处理模式，包括：根据预设的计算方式计算所述活跃顶点集合的稠密度；根据所述稠密度，确定预设的推动数据处理模式和拉动数据处理模式中与所述活跃顶点集合相匹配的目标数据处理模式。5.根据权利要求4所述的方法，所述根据预设的计算方式计算所述活跃顶点集合的稠密度，包括：统计所述活跃顶点集合中活跃顶点的第三数量；
根据所述第二数量统计所述活跃顶点集合中各活跃顶点的出边的总数量，将所述总数量确定为第四数量；根据预设的计算方式，基于所述第三数量和所述第四数量计算所述活跃顶点集合的稠密度；所述根据所述稠密度，确定预设的推动数据处理模式和拉动数据处理模式中与所述活跃顶点集合相匹配的目标数据处理模式，包括：根据所述第一数量确定比对稠密度，确定所述活跃顶点集合的稠密度是否不小于所述比对稠密度；若是，则将所述拉动数据处理模式确定为所述目标数据处理模式；若否，则将所述推动数据处理模式确定为所述目标数据处理模式。6.根据权利要求4所述的方法，所述根据所述目标数据处理模式，确定与所述任意活跃顶点具有所述关联关系的待更新顶点，包括：若确定所述目标数据处理模式为所述推动数据处理模式，则根据所述第一分布式节点的外存中保存的所述出边集合和所述镜像备份，确定所述任意活跃顶点作为所述入点时所对应的目标出点；将所述目标出点确定为所述待更新顶点；所述根据所述外存中的所述任意活跃顶点的第一数据，向所述待更新顶点所在的目标分布式节点发送第一更新消息，包括：从所述第一分布式节点的外存中获取所述任意活跃顶点的第一数据；确定所述待更新顶点和所述待更新顶点的镜像备份所在的目标分布式节点；根据所述任意活跃顶点的顶点信息和所述第一数据，向所述目标分布式节点发送第一更新消息。7.根据权利要求6所述的方法，所述方法还包括：若接收到所述第一分布式节点和/或其他分布式节点发送的所述第一更新消息，则将所述第一更新消息中的顶点信息对应的活跃顶点确定为目标活跃顶点；根据所述第一分布式节点的外存中保存的所述出边集合，确定所述目标活跃顶点作为所述入点时所对应的至少一个目标出点；根据所述第一更新消息中的所述第一数据，对所述第一分布式节点的外存中所述目标出点的第二数据进行更新处理。8.根据权利要求7所述的方法，所述根据所述第一更新消息中的所述第一数据，对所述第一分布式节点的外存中所述目标出点的第二数据进行更新处理，包括：确定每个所述目标出点对应的目标线程；将所述第一更新消息发送给对应的所述目标线程，以使所述目标线程根据所述第一更新消息中的所述第一数据，对所述第一分布式节点的外存中相应目标出点的第二数据进行更新处理。9.根据权利要求8所述的方法，所述将所述第一更新消息发送给对应的所述目标线程，以使所述目标线程根据所述第一更新消息中的所述第一数据，对所述第一分布式节点的外存中相应目标出点的第二数据进行更新处理，包括：确定所述目标出点的第二数据是否处于加锁状态；
若是，则将所述第一更新消息保存至相应目标出点的消息队列中，以使所述目标出点对应的目标线程在对所述第二数据进行解锁处理后，从所述消息队列中获取所述第一更新消息；并对所述第二数据进行加锁处理后，根据所述第一更新消息中的所述第一数据，对所述第二数据进行更新处理；若否，则将所述第一更新消息发送给对应的所述目标线程，以使所述目标线程对所述目标出点的...

【专利技术属性】
技术研发人员：覃伟，于纪平，朱晓伟，陈文光，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：