树形业务数据构建方法技术

本发明专利技术公开了一种树形业务数据构建方法

【技术实现步骤摘要】
树形业务数据构建方法、装置、计算机设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种树形业务数据构建方法
、
装置
、
计算机设备及存储介质
。

技术介绍

[0002]对于树形结构数据，需要实时计算各树节点的动态数据，并通过纵向层级方式全量或者批量展示给用户
。
但不同行业不同项目，数据结构差异较大
。
因此提出一种适应多类型数据结构的树形业务数据构建方法
。

技术实现思路

[0003]本说明书实施方式旨在至少在一定程度上解决相关技术中的技术问题之一
。
为此，本说明书实施方式提出一种树形业务数据构建方法
、
装置
、
计算机设备及存储介质
。
[0004]本说明书实施方式提供一种树形业务数据构建方法，所述方法包括：通过目标树形模型从源数据库中获取初始业务数据；其中，所述目标树形模型包括树形结构表与业务数据表之间的连接关系，所述树形结构表用于表征所述业务数据表中字段间的主从关系结构；所述树形结构表包括所述业务数据表的
ID
字段
、
所述
ID
字段的父节点的父级
ID
字段和层级字段；基于所述树形结构表对所述初始业务数据进行分片处理，得到若干份分片业务数据；根据预先配置的分片处理策略对所述分片业务数据进行组装，得到所述分片业务数据对应的局部处理结果，并对所述局部处理结果依次进行整合处理，得到目标树形业务数据
。
[0005]在其中一个实施方式，所述对所述局部处理结果依次进行整合处理，得到目标树形业务数据，包括：根据所述分片处理策略中的后置处理策略对所述局部处理结果依次进行数据粘合和后置计算，得到目标树形业务数据
。
[0006]在其中一个实施方式，所述根据所述分片处理策略中的后置处理策略对所述局部处理结果依次进行数据粘合和后置计算，得到目标树形业务数据，包括：根据所述后置处理策略对所述局部处理结果依次进行数据粘合和后置计算，得到初始树形业务数据；采用筛选
、
转换
、
过滤
、
脱敏
、
压缩中的至少一种方式对所述初始树形业务数据行数据清洗，得到所述目标树形业务数据
。
[0007]在其中一个实施方式，通过以下方式获得所述目标树形模型：确定目标模板；其中，所述目标模板适用于所述源数据库的数据库类型；所述目标模板中具有所述树形结构表的结构信息；基于针对所述目标模板的表结构配置操作，确定目标业务表的结构信息；
基于所述树形结构表的结构信息和所述目标业务表的结构信息生成所述树形结构表和所述目标业务表；基于所述目标业务表和所述树形结构表确定所述目标树形模型
。
[0008]在其中一个实施方式，所述基于所述目标业务表和所述树形结构表确定所述目标树形模型，包括：若检测到所述目标业务表的表名称已存在，则基于所述目标业务表和预先存储的所述树形结构表对已存在的树形模型进行更新，确定所述目标树形模型；若检测到所述目标业务表的表名称不存在，则基于所述目标业务表和预先存储的所述树形结构表生成所述目标树形模型
。
[0009]在其中一个实施方式，所述基于所述目标业务表和所述树形结构表生成所述目标树形模型，包括：基于所述树形结构表中的外键字段以及所述目标业务表中主键字段，建立所述目标业务表与所述树形结构表之间的连接关系，得到所述目标树形模型；其中，所述外键字段采用所述主键字段的值
。
[0010]在其中一个实施方式，所述初始业务数据为从所述源数据库中加载到缓存的业务数据；所述初始业务数据包括键值对映射数据和元素集合数据；所述基于所述树形结构表对所述初始业务数据进行分片处理，得到若干份分片业务数据，包括：确定所述树形结构表对应的总层级数量；根据所述总层级数量和任务队列对应的总任务数量对所述初始业务数据进行分片处理，得到所述若干份分片业务数据
。
[0011]在其中一个实施方式，所述根据所述总层级数量和任务队列对应的总任务数量对所述初始业务数据进行分片处理，得到所述若干份分片业务数据，包括：根据所述总层级数量与所述总任务数量之间的商值以及片层级数量阈值确定分片层级数量；其中，所述分片层级数量为每份分片业务数据能够包括的层级的数量；所述片层级数量阈值用于限定所述每份分片业务数据对应的分片层级数量的最小值；基于所述分片层级数量，将所述初始业务数据划分为所述若干份分片业务数据
。
[0012]在其中一个实施方式，所述若干份分片业务数据是按照所述树形结构表对应的层级顺序对所述初始业务数据进行分片得到的，所述若干份分片业务数据包括第一类分片业务数据和第二类分片业务数据；所述根据所述总层级数量与所述总任务数量之间的商值以及片层级数量阈值确定分片层级数量，包括：针对所述第一类分片业务数据，将所述商值确定为所述第一类分片业务数据的分片层级数量；其中，若所述商值不小于所述片层级数量阈值；针对所述第二类分片业务数据，确定所述总层级数量与所述总任务数量之间的余数，将所述商值与所述余数之和确定为所述第二类分片业务数据的分片层级数量
。
[0013]在其中一个实施方式，所述每份分片业务数据包括的层级具有位于开始处的起始层级和位于结尾处的末尾层级，所述每份分片业务数据具有分片序号；若所述第二类分片业务数据的数量为1，且排列在最后的分片业务数据为所述第二类分片业务数据，通过以下
方式确定针对任一分片业务数据的起始层级和末尾层级：确定所述任一分片业务数据的分片序号与1间的差值，确定所述任一分片业务数据的分片层级数量与所述差值的乘积，将所述乘积与1之和作为所述起始层级；若所述任一分片业务数据是排列在最后的分片业务数据，将所述树形结构表对应的最后层级作为所述末尾层级；若所述任一分片业务数据不是排列在最后的分片业务数据，将所述任一分片业务数据的分片层级数量与所述任一分片业务数据的分片序号的乘积作为所述末尾层级
。
[0014]在其中一个实施方式，所述分片处理策略包括组装策略；所述分片业务数据在所述树形结构表中对应有多个目标节点；所述根据预先配置的分片处理策略对所述分片业务数据进行组装，得到所述分片业务数据对应的局部处理结果，包括：针对任一目标节点，根据所述组装策略查找与所述任一目标节点具有上级关系或者下级关系的关系节点，并按照所述上级关系或者所述下级关系对所述任一目标节点和所述关系节点进行异步组装，得到所述局部处理结果
。
[0015]在其中一个实施方式，所述若干份分片业务数据包括相邻的第一分片业务数据和第二分片业务数据；所述第一分片业务数据的排列顺序早于所述第二分片业务数据的排列顺序；所述第一分片业务数据的末尾层级在所述第一分片业务数据的局部处理结果中对应有末尾处理结果，所述第二分片业务数据的起始层级在所述第二分片业务数据的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种树形业务数据构建方法，其特征在于，所述方法包括：通过目标树形模型从源数据库中获取初始业务数据；其中，所述目标树形模型包括树形结构表与业务数据表之间的连接关系，所述树形结构表用于表征所述业务数据表中字段间的主从关系结构；所述树形结构表包括所述业务数据表的
ID
字段
、
所述
ID
字段的父节点的父级
ID
字段和层级字段；基于所述树形结构表对所述初始业务数据进行分片处理，得到若干份分片业务数据；根据预先配置的分片处理策略对所述分片业务数据进行组装，得到所述分片业务数据对应的局部处理结果，并对所述局部处理结果依次进行整合处理，得到目标树形业务数据
。2.
根据权利要求1所述的方法，其特征在于，所述对所述局部处理结果依次进行整合处理，得到目标树形业务数据，包括：根据所述分片处理策略中的后置处理策略对所述局部处理结果依次进行数据粘合和后置计算，得到目标树形业务数据
。3.
根据权利要求2所述的方法，其特征在于，所述根据所述分片处理策略中的后置处理策略对所述局部处理结果依次进行数据粘合和后置计算，得到目标树形业务数据，包括：根据所述后置处理策略对所述局部处理结果依次进行数据粘合和后置计算，得到初始树形业务数据；采用筛选
、
转换
、
过滤
、
脱敏
、
压缩中的至少一种方式对所述初始树形业务数据行数据清洗，得到所述目标树形业务数据
。4.
根据权利要求1所述的方法，其特征在于，通过以下方式获得所述目标树形模型：确定目标模板；其中，所述目标模板适用于所述源数据库的数据库类型；所述目标模板中具有所述树形结构表的结构信息；基于针对所述目标模板的表结构配置操作，确定目标业务表的结构信息；基于所述树形结构表的结构信息和所述目标业务表的结构信息生成所述树形结构表和所述目标业务表；基于所述目标业务表和所述树形结构表确定所述目标树形模型
。5.
根据权利要求4所述的方法，其特征在于，所述基于所述目标业务表和所述树形结构表确定所述目标树形模型，包括：若检测到所述目标业务表的表名称已存在，则基于所述目标业务表和预先存储的所述树形结构表对已存在的树形模型进行更新，确定所述目标树形模型；若检测到所述目标业务表的表名称不存在，则基于所述目标业务表和预先存储的所述树形结构表生成所述目标树形模型
。6.
根据权利要求5所述的方法，其特征在于，所述基于所述目标业务表和所述树形结构表生成所述目标树形模型，包括：基于所述树形结构表中的外键字段以及所述目标业务表中主键字段，建立所述目标业务表与所述树形结构表之间的连接关系，得到所述目标树形模型；其中，所述外键字段采用所述主键字段的值
。7.
根据权利要求1所述的方法，其特征在于，所述初始业务数据为从所述源数据库中加载到缓存的业务数据；所述初始业务数据包括键值对映射数据和元素集合数据；所述基于所述树形结构表对所述初始业务数据进行分片处理，得到若干份分片业务数
据，包括：确定所述树形结构表对应的总层级数量；根据所述总层级数量和任务队列对应的总任务数量对所述初始业务数据进行分片处理，得到所述若干份分片业务数据
。8.
根据权利要求7所述的方法，其特征在于，所述根据所述总层级数量和任务队列对应的总任务数量对所述初始业务数据进行分片处理，得到所述若干份分片业务数据，包括：根据所述总层级数量与所述总任务数量之间的商值以及片层级数量阈值确定分片层级数量；其中，所述分片层级数量为每份分片业务数据能够包括的层级的数量；所述片层级数量阈值用于限定所述每份分片业务数据对应的分片层级数量的最小值；基于所述分片层级数量，将所述初始业务数据划分为所述若干份分片业务数据
。9.
根据权利要求8所述的方法，其特征在于，所述若干份分片业务数据是按照所述树形结构表对应的层级顺序对所述初始业务数据进行分片得到的，所述若干份分片业务数据包括第一类分片业务数据和第二类分片业务数据；所述根据所述总层级数量与所述总任务数量之间的商值以及片层级数量阈值确定分片层级数量，包括：针对所述第一类分片业务数据，将所述商值确定为所述第一类分片业务数据的分片层级数量；其中，若所述商值不小于所述片层级数量阈值；针对所述第二类分片业...

【专利技术属性】
技术研发人员：黄鸿彬，
申请(专利权)人：美云智数科技有限公司，
类型：发明
国别省市：