System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、计算机设备和存储介质制造方法及图纸_技高网

数据处理方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:40017564 阅读:9 留言:0更新日期:2024-01-16 16:14
本申请涉及一种数据处理方法、装置、计算机设备和存储介质。所述方法包括:获取多维数据库对应的各数据段的段索引地址,数据段包括预设行数的行数据;基于多维数据库对应的数据沙箱中的维度组合键与多维数据库中的维度组合键之间的关联关系,确定各数据段中各行数据对应的数据行标识的关联状态码,将各数据段中各数据行标识对应的关联状态码进行组合,得到各数据段对应的位图段编码;基于各数据段对应的段索引地址和位图段编码之间的关联关系,得到各数据段对应的数据位图。采用本方法能够提高数据处理的性能。

【技术实现步骤摘要】

本申请涉及计算机,特别是涉及一种数据处理方法、装置、计算机设备和存储介质


技术介绍

1、在现有技术中用多维数据库中的数据进行模拟测算时,往往需要创建大量的沙箱。然而,现有技术在数据量很大的情况下,对沙箱中的数据进行查询等处理操作时遍历查询沙箱以及多维数据库的算力较大,从而导致数据处理的性能较低。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够高效对数据进行处理的数据处理方法、装置、计算机设备和存储介质,提高了数据处理的性能。

2、第一方面,本申请提供了一种数据处理方法。所述方法包括:

3、获取多维数据库对应的各数据段的段索引地址,所述数据段包括预设行数的行数据;

4、基于所述多维数据库对应的数据沙箱中的维度组合键与所述多维数据库中的维度组合键之间的关联关系,确定各数据段中各行数据对应的数据行标识的关联状态码,将各数据段中各数据行标识对应的关联状态码进行组合,得到各数据段对应的位图段编码;

5、基于各数据段对应的段索引地址和位图段编码之间的关联关系,得到各数据段对应的数据位图。

6、在其中一个实施例中,所述基于所述多维数据库对应的数据沙箱中的维度组合键与所述多维数据库中的维度组合键之间的关联关系,确定各数据段中各行数据对应的数据行标识的关联状态码包括:

7、将存在于所述多维数据库中且不存在于所述数据沙箱中的维度组合键作为非关联组合键,将非关联组合键对应的行数据的数据行标识的关联状态码设置为第一固定值;

8、将存在于所述数据沙箱中的维度组合键作为关联组合键,将关联组合键对应的行数据的数据行标识的关联状态码设置为第二固定值。

9、在其中一个实施例中,所述方法还包括:

10、计算各数据段中各行数据的数据行标识的关联状态码为第一固定值的个数,得到各数据段对应的非关联数量;

11、将非关联数量等于预设非关联数量的数据段作为待压缩数据段,将各待压缩数据段对应的段索引地址设置成预设段索引地址。

12、在其中一个实施例中,所述方法还包括:

13、接收终端发送的数据查询请求,从所述数据查询请求中获取目标查询维度组合键标识,确定所述目标查询维度组合键标识对应的目标查询数据行标识和目标查询段索引地址;

14、当所述目标查询段索引地址不是预设段索引地址时,基于所述目标查询段索引地址确定目标查询数据位图,从所述目标查询数据位图对应的位图段编码中确定所述目标查询数据行标识对应的目标关联状态码。

15、在其中一个实施例中,所述方法还包括:

16、当所述目标关联状态码为第一固定值时,基于所述目标查询维度组合键标识,从所述多维数据库中获取所述目标查询维度组合键标识对应的目标查询数据值;

17、当所述目标关联状态码为第二固定值时,基于所述目标查询维度组合键标识,从所述数据沙箱中获取所述目标查询维度组合键标识对应的目标查询数据值。

18、在其中一个实施例中,所述方法还包括:

19、接收终端发送的数据更改请求,确定所述数据更改请求对应的更改类型;

20、当所述更改类型为更改所述数据沙箱中的数据时,从所述数据更改请求中获取目标更改维度组合键标识和目标更新值,基于所述目标更改维度组合键标识确定目标更改数据行标识和目标更改段索引地址,将所述数据沙箱中所述目标更改段索引地址和所述目标更改数据行标识对应的数据值修改成所述目标更新值。

21、在其中一个实施例中,所述方法还包括:

22、当所述更改类型为在所述数据沙箱中添加更新维度组合键时,从所述数据更改请求中获取目标添加维度组合键标识,基于所述目标添加维度组合标识确定目标更新数据行标识和目标更新段索引地址;

23、基于所述目标更新段索引地址确定目标更新数据位图,将所述目标更新数据位图中所述目标更新数据行标识对应的关联状态码改成第二固定值,将所述目标添加维度组合键标识对应的关联数据信息加入所述数据沙箱中。

24、第二方面,本申请还提供了一种数据处理装置。所述装置包括:

25、获取模块,用于获取多维数据库对应的各数据段的段索引地址,所述数据段包括预设行数的行数据;

26、组合模块,用于基于所述多维数据库对应的数据沙箱中的维度组合键与所述多维数据库中的维度组合键之间的关联关系,确定各数据段中各行数据对应的数据行标识的关联状态码,将各数据段中各数据行标识对应的关联状态码进行组合,得到各数据段对应的位图段编码;

27、关联模块,用于基于各数据段对应的段索引地址和位图段编码之间的关联关系,得到各数据段对应的数据位图。

28、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

29、获取多维数据库对应的各数据段的段索引地址,所述数据段包括预设行数的行数据;

30、基于所述多维数据库对应的数据沙箱中的维度组合键与所述多维数据库中的维度组合键之间的关联关系,确定各数据段中各行数据对应的数据行标识的关联状态码,将各数据段中各数据行标识对应的关联状态码进行组合,得到各数据段对应的位图段编码;

31、基于各数据段对应的段索引地址和位图段编码之间的关联关系,得到各数据段对应的数据位图。

32、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

33、获取多维数据库对应的各数据段的段索引地址,所述数据段包括预设行数的行数据;

34、基于所述多维数据库对应的数据沙箱中的维度组合键与所述多维数据库中的维度组合键之间的关联关系,确定各数据段中各行数据对应的数据行标识的关联状态码,将各数据段中各数据行标识对应的关联状态码进行组合,得到各数据段对应的位图段编码;

35、基于各数据段对应的段索引地址和位图段编码之间的关联关系,得到各数据段对应的数据位图。

36、上述数据处理方法、装置、计算机设备和存储介质,通过获取多维数据库对应的各数据段的段索引地址,数据段包括预设行数的行数据;基于多维数据库对应的数据沙箱中的维度组合键与多维数据库中的维度组合键之间的关联关系,确定各数据段中各行数据对应的数据行标识的关联状态码,将各数据段中各数据行标识对应的关联状态码进行组合,得到各数据段对应的位图段编码;基于各数据段对应的段索引地址和位图段编码之间的关联关系,得到各数据段对应的数据位图,实现了多维数据库和数据沙箱之间的数据位图的构建,数据位图可应用于对数据沙箱或多维数据库进行数据查询、更新等数据处理操作,在进行数据处理时数据位图可以快速高效的定位出处理数据的位置,可以根据处理数据对应的维度组合键的进行快速过滤,较好地提高了数据查询与定位的效率,从而较好地提高数据处理的性能。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述多维数据库对应的数据沙箱中的维度组合键与所述多维数据库中的维度组合键之间的关联关系,确定各数据段中各行数据对应的数据行标识的关联状态码包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

8.一种数据处理装置,其特征在于,所述装置包括:

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述多维数据库对应的数据沙箱中的维度组合键与所述多维数据库中的维度组合键之间的关联关系,确定各数据段中各行数据对应的数据行标识的关联状态码包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利...

【专利技术属性】
技术研发人员:丁少鸿
申请(专利权)人:金蝶软件中国有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1