System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于电网大数据中心的数据仓库建模方法技术_技高网

基于电网大数据中心的数据仓库建模方法技术

技术编号:40922455 阅读:2 留言:0更新日期:2024-04-18 14:46
本申请涉及一种基于电网大数据中心的数据仓库建模方法、装置、计算机设备、存储介质和计算机程序产品。方法包括:获取待处理数据表;确定待处理数据表对应的数据明细表,并获取数据明细表之间的第一逻辑关系;基于第一逻辑关系,在各数据明细表之间设置逻辑关系,得到第一关系表;基于第一关系表,建立电网大数据中心的数据明细模型,并获取第一共享数据维度;从第一关系表中获取与第一共享数据维度匹配的第二关系表,并确定第二关系表对应的数据汇总表;基于数据汇总表,建立电网大数据中心的数据汇总模型,并组合数据明细模型与数据汇总模型,生成电网大数据中心的数据仓库模型。采用本方法能够高效进行数据仓库建模。

【技术实现步骤摘要】

本申请涉及大数据,特别是涉及一种基于电网大数据中心的数据仓库建模方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、随着物联网与移动应用等新技术的出现,为数据价值的广泛挖掘提供了可能,目前,尤其对于电网大数据中心来说,数据已经成为了企业的一份重要生产要素和重要战略资源。而随着数据规模的快速膨胀、数据更新频率的不断提高、数据类型的日益丰富,如何将数据进行有序、有结构的存储,是对数据管理核心能力的挑战。

2、在相关技术中,对数据进行有序、有结构的存储一般是通过数据库来实现的。具体地,对需要存储的数据进行分类,并对数据库进行分类,并将需要存储的数据存储至对应类别的数据仓库中。如采用关系型数据库存储关系型数据,采用非关系型数据库存储非关系型数据。但是,对于电网大数据中心来说,采用数据库来存储数据的措施仍然不够高效。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种高效的基于电网大数据中心的数据仓库建模方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面,本申请提供了一种基于电网大数据中心的数据仓库建模方法,包括:

3、获取待处理数据表,所述待处理数据表携带至少两个不同电网大数据中心的数据;

4、确定所述待处理数据表对应的数据明细表,并获取所述数据明细表之间的第一逻辑关系;

5、基于所述第一逻辑关系,在各所述数据明细表之间设置逻辑关系,得到第一关系表;

6、基于所述第一关系表,建立所述电网大数据中心的数据明细模型,并获取第一共享数据维度;

7、从所述第一关系表中获取与所述第一共享数据维度匹配的第二关系表,并确定所述第二关系表对应的数据汇总表;

8、基于所述数据汇总表,建立所述电网大数据中心的数据汇总模型,并组合所述数据明细模型与所述数据汇总模型,生成所述电网大数据中心的数据仓库模型。

9、第二方面,本申请还提供了一种基于电网大数据中心的数据仓库建模装置,包括:

10、数据表获取模块,用于获取待处理数据表,所述待处理数据表携带至少两个不同电网大数据中心的数据;

11、明细表确定模块,用于确定所述待处理数据表对应的数据明细表,并获取所述数据明细表之间的第一逻辑关系;

12、关系表生成模块,用于基于所述第一逻辑关系,在各所述数据明细表之间设置逻辑关系,得到第一关系表;

13、第一模型建立模块,用于基于所述第一关系表,建立所述电网大数据中心的数据明细模型,并获取第一共享数据维度;

14、汇总表确定模块,用于从所述第一关系表中获取与所述第一共享数据维度匹配的第二关系表,并确定所述第二关系表对应的数据汇总表;

15、第二模型建立模块,用于基于所述数据汇总表,建立所述电网大数据中心的数据汇总模型,并组合所述数据明细模型与所述数据汇总模型,生成所述电网大数据中心的数据仓库模型。

16、第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

17、获取待处理数据表,所述待处理数据表携带至少两个不同电网大数据中心的数据;

18、确定所述待处理数据表对应的数据明细表,并获取所述数据明细表之间的第一逻辑关系;

19、基于所述第一逻辑关系,在各所述数据明细表之间设置逻辑关系,得到第一关系表;

20、基于所述第一关系表,建立所述电网大数据中心的数据明细模型,并获取第一共享数据维度;

21、从所述第一关系表中获取与所述第一共享数据维度匹配的第二关系表,并确定所述第二关系表对应的数据汇总表;

22、基于所述数据汇总表,建立所述电网大数据中心的数据汇总模型,并组合所述数据明细模型与所述数据汇总模型,生成所述电网大数据中心的数据仓库模型。

23、第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

24、获取待处理数据表,所述待处理数据表携带至少两个不同电网大数据中心的数据;

25、确定所述待处理数据表对应的数据明细表,并获取所述数据明细表之间的第一逻辑关系;

26、基于所述第一逻辑关系,在各所述数据明细表之间设置逻辑关系,得到第一关系表;

27、基于所述第一关系表,建立所述电网大数据中心的数据明细模型,并获取第一共享数据维度;

28、从所述第一关系表中获取与所述第一共享数据维度匹配的第二关系表,并确定所述第二关系表对应的数据汇总表;

29、基于所述数据汇总表,建立所述电网大数据中心的数据汇总模型,并组合所述数据明细模型与所述数据汇总模型,生成所述电网大数据中心的数据仓库模型。

30、第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:

31、获取待处理数据表,所述待处理数据表携带至少两个不同电网大数据中心的数据;

32、确定所述待处理数据表对应的数据明细表,并获取所述数据明细表之间的第一逻辑关系;

33、基于所述第一逻辑关系,在各所述数据明细表之间设置逻辑关系,得到第一关系表;

34、基于所述第一关系表,建立所述电网大数据中心的数据明细模型,并获取第一共享数据维度;

35、从所述第一关系表中获取与所述第一共享数据维度匹配的第二关系表,并确定所述第二关系表对应的数据汇总表;

36、基于所述数据汇总表,建立所述电网大数据中心的数据汇总模型,并组合所述数据明细模型与所述数据汇总模型,生成所述电网大数据中心的数据仓库模型。

37、上述基于电网大数据中心的数据仓库建模方法、装置、计算机设备、存储介质和计算机程序产品,获取待处理数据表,待处理数据表携带至少两个不同电网大数据中心的数据;确定待处理数据表对应的数据明细表,并获取数据明细表之间的第一逻辑关系;基于第一逻辑关系,在各数据明细表之间设置逻辑关系,得到第一关系表;基于第一关系表,建立电网大数据中心的数据明细模型,并获取第一共享数据维度;从第一关系表中获取与第一共享数据维度匹配的第二关系表,并确定第二关系表对应的数据汇总表;基于数据汇总表,建立电网大数据中心的数据汇总模型,并组合数据明细模型与数据汇总模型,生成电网大数据中心的数据仓库模型。整个过程中,在获取待处理数据表后,能够从逻辑关系与共享数据维度两个维度出发,对待处理数据表对应的数据明细表中所需的数据进行高效汇总,避免需要一个个对待处理数据表进行处理的情况;进一步地,对由数据明细表建立的数据明细模型、以及由数据汇总表建立的数据汇总模型直接组合,高效生成电网大数据中心的数据仓库模型。

本文档来自技高网...

【技术保护点】

1.一种基于电网大数据中心的数据仓库建模方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述确定所述待处理数据表对应的数据明细表,包括:

3.根据权利要求2所述的方法,其特征在于,所述确定所述第二关系表对应的数据汇总表,还包括:

4.根据权利要求3所述的方法,其特征在于,在确定所述第二关系表对应的数据汇总表后,还包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述第四关系表,得到所述待处理数据表在数据集市层对应的集市表包括:

6.根据权利要求5所述的方法,其特征在于,所述第一预设字段规则、所述第二预设字段规则、以及所述第三预设字段规则包括所述待处理数据表中字段分别对应的预设数据类型规则、数据类型对应的值域规则、编码规则、约束规则、键规则、以及命名规则;

7.一种基于电网大数据中心的数据仓库建模装置,其特征在于,所述装置包括:

8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种基于电网大数据中心的数据仓库建模方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述确定所述待处理数据表对应的数据明细表,包括:

3.根据权利要求2所述的方法,其特征在于,所述确定所述第二关系表对应的数据汇总表,还包括:

4.根据权利要求3所述的方法,其特征在于,在确定所述第二关系表对应的数据汇总表后,还包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述第四关系表,得到所述待处理数据表在数据集市层对应的集市表包括:

6.根据权利要求5所述的方法,其特征在于,所述第一预设字段规则、所述第二预设字段规则、以及所述第三预设字段规则包括所述待处...

【专利技术属性】
技术研发人员:苏扬杨峰李旺军
申请(专利权)人:南方电网数字平台科技广东有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1