System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法及装置、电子设备、计算机可读存储介质制造方法及图纸_技高网

数据处理方法及装置、电子设备、计算机可读存储介质制造方法及图纸

技术编号:40761324 阅读:4 留言:0更新日期:2024-03-25 20:13
本公开提供了一种数据处理方法及装置、电子设备、计算机可读存储介质,该方法包括:获取目标清单,其中,目标清单为满足预设数据编织条件的多个业务表的信息单;不同业务表存储的业务数据不同,预设数据编织条件用于筛选相互之间存储的业务数据存在功能关联和/或功能重复的业务表;根据目标清单,构建目标数据集市宽表。根据本公开的实施例可以方便、高效且准确的构建得到目标数据集市宽表。

【技术实现步骤摘要】

本公开涉及数据处理,特别涉及一种数据处理方法及装置、电子设备、计算机可读存储介质


技术介绍

1、在相关技术中,业务部门在需要进行联机分析处理(olap,online analyticalprocessing)或者在进行一次olap数据分析时,通常是根据其所关注的数据维度,自行组装或者交由技术部门组装得到一个满足当前分析需求的小数据宽表(wide table),以基于该数据宽表进行olap分析。

2、然而,这种自行组装或者交由技术部门组装得到的数据宽表,通常仅能满足业务部门的当前使用需求,而无法满足多业务部门的日常使用需求,存在资源浪费的问题;并且,由于不同业务部门分析目标以及逻辑口径的不同,基于该种方法得到的数据宽表在数据一致性和准确性上也难以保障,而且由于每次都需要人工进行数据组装,还存在不够方便的问题。


技术实现思路

1、本公开提供一种数据处理方法及装置、电子设备、计算机可读存储介质。

2、第一方面,本公开提供了一种数据处理方法,该方法包括:

3、获取目标清单,其中,所述目标清单为满足预设数据编织条件的多个业务表的信息单;不同的业务表存储的业务数据不同,所述预设数据编织条件用于筛选相互之间存储的业务数据存在功能关联和/或功能重复的业务表。

4、根据所述目标清单,构建目标数据集市宽表。

5、第二方面,本公开提供了一种数据处理装置,该装置包括:

6、获取单元,用于获取目标清单,其中,所述目标清单为满足预设数据编织条件的多个业务表的信息单;不同的业务表存储的业务数据不同,所述预设数据编织条件用于筛选相互之间存储的业务数据存在功能关联和/或功能重复的业务表;

7、构建单元,用于根据所述目标清单,构建目标数据集市宽表。

8、第三方面,本公开提供了一种电子设备,该电子设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序,一个或多个所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的数据处理方法。

9、第四方面,本公开提供了一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序在被处理器执行时实现上述的数据处理方法。

10、本公开所提供的实施例,电子设备通过自动获取满足预设数据编织条件的多个业务表的信息构成的目标清单,即可根据该目标清单,构建得到目标数据集市宽表。

11、在本公开所提供的实施例中,通过由电子设备自动获取相互之间存储的业务数据存在功能关联和/或功能重复的多个业务表来构建目标清单,并基于该目标清单对该些存在功能关联和/或功能重复的业务数据进行整合以自动构建得到目标数据集市宽表,可以避免业务部门根据自身需求手动获取相关业务表来构建清单时可能存在的不方便、数据一致性和准确性难以保障以及可能存在的资源浪费问题。

12、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述根据所述目标清单,构建目标数据集市宽表之后,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述预设数据编织条件包括业务表对应的数据血缘关系紧密度处于数据血缘关系紧密度序列的预设位置处的第一条件;

4.根据权利要求1所述的方法,其特征在于,所述预设数据编织条件包括业务表之间的业务数据关系或业务任务关系满足预设关联条件的第二条件,所述获取目标清单,包括:

5.根据权利要求4所述的方法,其特征在于,所述预设关联条件包括以下至少一项:

6.根据权利要求1所述的方法,其特征在于,所述预设数据编织条件包括业务表的表名称之间的相似度大于或等于第一预设阈值且业务表对应的存储策略维度的数量小于第二预设阈值的第三条件,所述获取目标清单,包括:

7.根据权利要求1所述的方法,其特征在于,所述根据所述目标清单,构建目标数据集市宽表,包括:

8.一种数据处理装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序在被处理器执行时实现如权利要求1-7中任一项所述的数据处理方法。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述根据所述目标清单,构建目标数据集市宽表之后,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述预设数据编织条件包括业务表对应的数据血缘关系紧密度处于数据血缘关系紧密度序列的预设位置处的第一条件;

4.根据权利要求1所述的方法,其特征在于,所述预设数据编织条件包括业务表之间的业务数据关系或业务任务关系满足预设关联条件的第二条件,所述获取目标清单,包括:

5.根据权利要求4所述的方法,其特征在于,所述预设关联条件包括以下至少一项...

【专利技术属性】
技术研发人员:聂志学蒋宁吴海英王思远周家林莫坤东唐懋
申请(专利权)人:马上消费金融股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1