一种数据处理方法和系统技术方案

本说明书涉及数字信息领域，特别涉及一种图数据处理方法和系统。该方法包括，获取图数据；其中，所述图数据包括节点与边；确定所述图数据中节点的边的数量，将边的数量大于第一预设阈值的节点确定为第一类节点；将每个第一类节点分别进行拆分，获得边的数量不大于第二预设阈值的若干子节点，进而得到更新后的图数据；将更新后的图数据进行划分得到若干个分组；其中，分组包含一个或多个节点及其边、和/或一个或多个子节点及其边；对获得的若干分组分布式存储在多台设备上。分布式存储在多台设备上。分布式存储在多台设备上。

【技术实现步骤摘要】
一种数据处理方法和系统


[0001]本说明书涉及数字信息领域，特别涉及一种图数据处理方法和系统。

技术介绍

[0002]在日常生活生产中，经常出现数据流转的场景，如资金在不同资金账户中流转、货物在不同仓库间运输、出行用户在不同的地点间旅行迁移等。随着数据的流转，会产生流转的轨迹和信息，这些数据隐藏了大量有价值的信息，例如，用户的偏好、行为习惯、意图等，对这些数据进行记录，可以便于后续分析、决策等进一步使用，为生产生活创造更多的便利或价值。
[0003]但随着时间的推移，所产生的数据越来越多，如何记录这些数据并使其能够被高效的利用，成为需要解决的问题。

技术实现思路

[0004]本说明书实施例之一提供一种数据处理方法。所述方法包括：获取图数据；其中，所述图数据包括节点与边；确定所述图数据中边的数量大于第一预设阈值的第一类节点；将每个第一类节点分别进行拆分，获得边的数量不大于第二预设阈值的若干子节点，进而得到更新后的图数据；将更新后的图数据进行划分得到若干个分组；其中，分组包含一个或多个节点及其边、和/或一个或多个子节点及其边；对获得的若干分组分布式存储在多台设备上。
[0005]本说明书实施例之一提供一种数据处理方法系统，其包括：图获取模块，用于图数据；其中，所述图数据包括节点与边；第一类节点确定模块，用于确定所述图数据中节点的边的数量，将边的数量大于第一预设阈值的节点确定为第一类节点；第一类节点拆分模块，用于将每个第一类节点分别进行拆分，获得边的数量不大于第二预设阈值的若干子节点，进而得到更新后的图数据；图分组模块，用于将更新后的图数据进行划分得到若干个分组；其中，分组包含一个或多个节点及其边、和/或一个或多个子节点及其边；分布式存储模块，用于对获得的若干分组分布式存储在多台设备上。
[0006]本说明书实施例之一提供一种数据处理装置，包括存储介质和处理器，所述存储介质用于存储计算机指令，所述处理器用于执行计算机指令以实现上述的数据处理方法。
附图说明
[0007]本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
[0008]图1是根据本说明书一些实施例所示的数据流转图的示意图；
[0009]图2是根据本说明书一些实施例所示的图数据分布式存储的示意图；
[0010]图3是根据本说明书一些实施例所示的数据处理的示例性流程图；
[0011]图4是根据本说明书一些实施例所示的第一类节点拆分的示意图；
[0012]图5是根据本说明书一些实施例所示的子节点分布式存储的示意图；
[0013]图6是是根据本说明书一些实施例所示的数据处理系统的示例性框图。
具体实施方式
[0014]为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0015]应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
[0016]如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
[0017]本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0018]图1是根据本说明书一些实施例所示的对象流转图的示意图。
[0019]在日常生活生产中，经常出现数据流转的场景，如资金在不同资金账户中流转、货物在不同仓库间运输、出行用户在不同的地点间旅行迁移等。这些场景会产生大量的流转数据，在一些实施例中，可以基于流转数据生成数据流转图。数据流转图中的节点间具有数据流转，节点之间的边反映数据在节点间的流转信息。
[0020]图1展示了资金的数据流转图，所示数据流转图为资金在各个节点之间流转过程的信息构成的资金流转图100，其中，数据可以是资金数据，不同金额的资金对应不同的数据，节点对应用于存储资金账户，节点之间的边反映资金在节点间的流转信息。所述账户具体可以是资金账户，如不同用户的资金账户。在一些实施例中，同一用户还可以拥有不同类型的资金账户，如一个用户同时拥有银行账户、理财账户和证券账户等，同一用户的不同类型的资金账户在资金流转图中也可以对应不同的节点。例如，用户A的银行账户以及用户A的理财账户可以在图1中分别对应不同的节点，进而资金流转图还可以反映出资金在同一用户的不同资金账户间的流转信息。
[0021]当存在一笔资金从一个账户转向另一个账户时，则产生一条边。在一些实施例中，边所反映的数据在节点间流转信息可以具备流转方向，继续采用资金流转图100为例，如用户A在超市购买商品，并通过银行账户支付商品金额，超市的银行账户接收到该商品金额。相应的，在资金流转图中存在对应于用户A银行账户的节点和对应于超市银行账户的节点，同时存在从用户A银行账户的节点指向超市银行账户的节点的边。在一些实施例中，边所反
映资金在节点间的流转信息还可以包括流转过程中的流转场景(如购买场景、借账场景、还款场景等)和流转时间(如转账场景)等。所述流转信息可以根据实际需要设置，例如在一些实施例中，流转信息还可以包括流转明细，示例性的，在上述资金流转图100中，用户A和超市之间的边可以包括该笔交易的商品清单。在一些实施例中，相同节点之间可以具有多条不同的边，这些边可能涉及不同的对象、不同流转时间或不同的流转场景等。例如用户A银行账户的节点与超市银行账户的节点之间具有2021年4月20日转账200元对应的边，以及2021年5月2日转账50元对应的边。
[0022]在一个示例性的资金流转图应用场景中，通过对资金流转图的分析可以获知不同金额的资金从哪个源节点进入图中，并经过了哪些节点后最终停留在了哪个尾节点，进而可以知晓用户对资金的使用意图，为后续的生产经营活动提供有价值的指导或参考。
[0023]需要说明的是，在一些实施例中，数据流转图的数据还可以是与人员、货物、车辆等相关的信息(如身份标识、货物编码或车牌信息等)，以表示人员、货物、车辆的流转信息。示例性的，当数据为货物相关的信息时，数据流转图中的节点可以对应于仓库、运本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其包括：获取图数据；其中，所述图数据包括节点与边；确定所述图数据中节点的边的数量，将边的数量大于第一预设阈值的节点确定为第一类节点；将每个第一类节点分别进行拆分，获得边的数量不大于第二预设阈值的若干子节点，进而得到更新后的图数据；将更新后的图数据进行划分得到若干个分组；其中，分组包含一个或多个节点及其边、和/或一个或多个子节点及其边；对获得的若干分组分布式存储在多台设备上。2.如权利要求1所述的方法，所述第一类节点的出边数量大于第一预设阈值、或入边数量大于第一预设阈值、或出边数量和入边数量均大于第一预设阈值；所述子节点的出边数量和入边数量均不大于第二预设阈值。3.如权利要求2所述的方法，边具有时间信息；所述将第一类节点进行拆分，获得边的数量不大于第二预设阈值的若干子节点，包括：当第一类节点的出边数量大于第一预设阈值且入边数量不大于第一预设阈值时，将其出边按照时序划分给多个子节点，并将该第一类节点的入边对应划分到与其具有预设关联关系的出边所在的子节点中；当第一类节点的入边数量大于第一预设阈值且出边数量不大于第一预设阈值时，将其入边按照时序划分给多个子节点，并将该第一类节点的出边对应划分到与其具有预设关联关系的入边所在的子节点中；当第一类节点的入边数量和出边数量均大于第一预设阈值时，将数量更多的一类边按照时序划分给多个子节点，并将该第一类节点的另一类边对应划分到与其具有预设关联关系的所述一类边所在的子节点中。4.如权利要求3所述的方法，所述预设关联关系包括时间最接近。5.如权利要求1所述的方法，所述对获得的若干分组分布式存储在多台设备上，包括：将包含子节点的若干分组基于预设均衡分配策略分发至所述多台设备上。6.如权利要求5所述的方法，所述将包含子节点的若干分组基于预设均衡分配策略分发至所述多台设备上，包括：一次向一台设备发送一个所述分组，如此将多个所述分组依次分发至所述多台设备上；如果所述分组的数量大于设备数...

【专利技术属性】
技术研发人员：唐坤，马文金，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：