数据集处理方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:20242236 阅读:66 留言:0更新日期:2019-01-29 23:18
本发明专利技术公开了一种数据集处理的数据集处理方法、装置、计算机设备及存储介质,该数据集处理方法包括:遍历每一区域数据表并保存到内存,区域数据表包括至少一组成员记录,成员记录包括成员ID、直接上级ID和至少一个成员属性,将成员ID和至少一个成员属性形成一个叶节点;基于基于区域数据表和层级差,获取指定的成员ID作为目标ID,建立层级关系树;统计层级关系树中指定节点对应的至少一个成员属性,其中,指定节点对应的至少一个成员属性由属于指定节点的每一叶节点对应的成员属性构成。该数据集处理方法无需频繁地磁盘I/O操作,自动完成各个区域数据表的数据整合,提高数据采集和处理的速度。

【技术实现步骤摘要】
数据集处理方法、装置、计算机设备及存储介质
本专利技术涉及数据采集领域,尤其涉及一种数据集处理方法、装置、计算机设备及存储介质。
技术介绍
现有各种组织之间可以按照层级划分建模为多叉树的遍历关系。而当统计各种组织相关的结构化数据时计算时间复杂度至少为mn,其中m是叶节点的数量,n是层级数。尤其对于跨省或跨国的大型组织,由于层级数大,即使能获取大型组织的多个数据库,难以统计层级关系和与层级关系相关的数据,包括各个组织的资产,人员和职位等。如何统计散列组织中的人员关系及相关数据成为亟待解决的问题。
技术实现思路
本专利技术实施例提供一种数据集处理的数据集处理方法、装置、计算机设备及存储介质,以解决统计散列组织中的人员关系及相关数据的问题。一种数据集处理方法,包括:遍历每一区域数据表并保存到内存,区域数据表包括至少一组成员记录,成员记录包括成员ID、直接上级ID和至少一个成员属性,将成员ID和至少一个成员属性形成一个叶节点;基于基于区域数据表和层级差,获取指定的成员ID作为目标ID,建立层级关系树,层级关系树包括目标ID对应的根节点和与根节点直接关联或间接关联的至少一个叶节点,其中,根节点和叶本文档来自技高网...

【技术保护点】
1.一种数据集处理方法,其特征在于,包括:遍历每一区域数据表并保存到内存,所述区域数据表包括至少一组成员记录,所述成员记录包括成员ID、直接上级ID和至少一个成员属性,将所述成员ID和至少一个成员属性形成一个叶节点;基于所述基于区域数据表和层级差,获取指定的成员ID作为目标ID,建立层级关系树,所述层级关系树包括所述目标ID对应的根节点和与所述根节点直接关联或间接关联的至少一个叶节点,其中,根节点和叶节点之间的节点形成子节点;统计所述层级关系树中指定节点对应的至少一个成员属性,其中,所述指定节点对应的至少一个成员属性由属于所述指定节点的每一叶节点对应的成员属性构成。

【技术特征摘要】
1.一种数据集处理方法,其特征在于,包括:遍历每一区域数据表并保存到内存,所述区域数据表包括至少一组成员记录,所述成员记录包括成员ID、直接上级ID和至少一个成员属性,将所述成员ID和至少一个成员属性形成一个叶节点;基于所述基于区域数据表和层级差,获取指定的成员ID作为目标ID,建立层级关系树,所述层级关系树包括所述目标ID对应的根节点和与所述根节点直接关联或间接关联的至少一个叶节点,其中,根节点和叶节点之间的节点形成子节点;统计所述层级关系树中指定节点对应的至少一个成员属性,其中,所述指定节点对应的至少一个成员属性由属于所述指定节点的每一叶节点对应的成员属性构成。2.如权利要求1所述的数据集处理方法,其特征在于,在所述基于所述基于区域数据表和层级差的步骤之前,所述数据集处理方法还包括:基于所述区域数据表,获取每一成员ID对应的直接上级ID和所有间接上级ID;获取每一成员ID和每一间接上级ID之间的层级差,基于所述层级差,生成所述成员ID对应的成员记录,所述成员记录包括成员ID,和与所述成员ID对应的直接上级ID和所有间接ID。3.如权利要求2所述的数据集处理方法,其特征在于,所述层级关系树包括层级,所述根节点对应的层级为零级;所述建立层级关系树,包括:基于所述叶节点对应的叶节点ID和目标ID,获取所述叶节点ID对应的成员记录和与所述目标ID对应的根节点之间的层级差;若所述层级差为1,则所述根节点和所述叶节点直接关联,将所述叶节点直接关联根节点形成层级为一级的节点;若所述层级差大于1,则所述根节点和所述叶节点间接关联,基于所述成员记录,在根节点和叶节点依次按层级差建立子节点,直至将所述根节点关联所述叶节点。4.如权利要求1所述的数据集处理方法,其特征在于,所述成员属性包括成员数值;所述指定节点对应的至少一个成员属性由属于所述指定节点的每一叶节点对应的成员属性构成,包括:若所述成员属性为成员数值,则将属于同一所述指定节点的每一叶节点对应的成员数值求和,获得所述指定节点对应的成员数值。5.如权利要求1所述的数据集处理方法,其特征在于,在所述统计所述层级关系树中每一节点对应的至少一个成员属性的步骤之后,所述数据集处理方法还包括:获取成员属性统计请求,所述统计请求包括成员ID和成员属性;基于...

【专利技术属性】
技术研发人员:张剑周涛王水兵
申请(专利权)人:深圳市网安计算机安全检测技术有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1