System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、数据处理设备以及计算机可读存储介质技术_技高网

数据处理方法、数据处理设备以及计算机可读存储介质技术

技术编号:41204299 阅读:3 留言:0更新日期:2024-05-07 22:29
本申请实施例公开了一种数据处理方法、数据处理设备以及计算机可读存储介质,用于在减小数据存储的代价值,以提高数据处理的效率的情况下,进行数据处理。本申请实施例方法包括:获得待处理数据集,匹配待处理数据集对应的预设语义规则,得到待处理数据集的匹配结果,基于匹配结果构建待处理数据集的逻辑执行计划,基于预设优化方法,确定执行待处理数据集的逻辑执行计划后得到的目标数据集,其中逻辑执行计划用于根据预设语义规则对待处理数据集进行压缩和/或解压处理,预设优化方法用于将执行待处理数据集的逻辑执行计划对应的代价值限制在预设代价值范围内。

【技术实现步骤摘要】

本申请实施例涉及数据处理领域,更具体的,是数据处理方法、数据处理设备以及计算机可读存储介质


技术介绍

1、目前,在数据存储过程中,数据规模发生改变时,需要对表字段进行大小调整,如varchar(10)改为varchar(20)。若一些局部值过大时,超过了原来字段类型的最大长度,则需要对应的调整为合适的数据类型,如varchar(10)改为text,而字段数据类型改变则需要对数据做兼容性的处理。

2、但是,在数据库中,对表进行结构调整需要锁定表,这会导致长时间的锁表操作,影响其他对该表的操作。而频繁调整字段大小或类型不利于系统的稳定性,且为了适应极端情况下的某一值,调整表字段大小的代价也会变得很高。

3、因此,这种数据处理方法的数据存储的代价值较大,数据处理的效率较低。


技术实现思路

1、本申请实施例提供了一种数据处理方法、数据处理设备以及计算机可读存储介质,用于在减小数据存储的代价值,以提高数据处理的效率的情况下,进行数据处理。

2、第一方面,本申请实施例提供了一种数据处理方法,包括:

3、获得待处理数据集;

4、匹配所述待处理数据集对应的预设语义规则,得到所述待处理数据集的匹配结果;

5、基于所述匹配结果构建所述待处理数据集的逻辑执行计划;

6、基于预设优化方法,确定执行所述待处理数据集的逻辑执行计划后得到的目标数据集;其中所述逻辑执行计划用于根据所述预设语义规则对所述待处理数据集进行压缩和/或解压处理;所述预设优化方法用于将执行所述待处理数据集的逻辑执行计划对应的代价值限制在预设代价值范围内。

7、第二方面,本申请实施例提供了一种数据处理设备,包括:

8、获得单元,用于获得待处理数据集;

9、匹配单元,用于匹配所述待处理数据集对应的预设语义规则,得到所述待处理数据集的匹配结果;

10、构建单元,用于基于所述匹配结果构建所述待处理数据集的逻辑执行计划;

11、确定单元,用于基于预设优化方法,确定执行所述待处理数据集的逻辑执行计划后得到的目标数据集;其中所述逻辑执行计划用于根据所述预设语义规则对所述待处理数据集进行压缩和/或解压处理;所述预设优化方法用于将执行所述待处理数据集的逻辑执行计划对应的代价值限制在预设代价值范围内。

12、第三方面,本申请实施例提供了一种数据处理设备,包括:

13、中央处理器,存储器,输入输出接口,有线或无线网络接口以及电源;

14、所述存储器为短暂存储存储器或持久存储存储器;

15、所述中央处理器配置为与所述存储器通信,并执行所述存储器中的指令操作以执行前述数据处理法。

16、第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质包括指令,当指令在计算机上运行时,使得计算机执行前述数据处理方法。

17、第五方面,本申请实施例提供了一种包含指令的计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行前述数据处理方法。

18、从以上技术方案可以看出,本申请实施例具有以下优点:可以基于预设优化方法,确定执行待处理数据集的逻辑执行计划后得到的目标数据集,其中逻辑执行计划可以根据预设语义规则对待处理数据集进行压缩和解压处理,通过压缩和解压处理,可以减小数据集的大小,从而减小数据存储的代价值;且其中预设优化方法可以限制执行逻辑执行计划所对应的代价值在预设代价值范围内,通过预设优化方法,可以进一步减小数据存储的代价值。因此,数据存储的代价值较小,数据处理的效率较高。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于预设优化方法,确定执行所述逻辑执行计划后得到的目标数据集,包括以下至少一种情况:

3.根据权利要求2所述的方法,其特征在于,所述若在缓存和/或数据库中存在所述待处理数据集的逻辑执行计划的结果集,则将所述结果集作为所述目标数据集,包括以下至少一种情况:

4.根据权利要求2所述的方法,其特征在于,所述若在缓存和/或数据库中存在所述待处理数据集的逻辑执行计划的结果集,则将所述结果集作为所述目标数据集之前,所述方法还包括:

5.根据权利要求2所述的方法,其特征在于,所述若在缓存和/或数据库中不存在所述待处理数据集的逻辑执行计划的结果集,则执行所述待处理数据集的逻辑执行计划,以得到所述目标数据集,包括以下至少一种情况:

6.根据权利要求5所述的方法,其特征在于,所述估算每个待处理数据集的逻辑执行计划的代价值,包括:

7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述匹配所述待处理数据集对应的预设语义规则,得到所述待处理数据集的匹配结果,包括:

8.一种数据处理设备,其特征在于,包括:

9.一种数据处理设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1至7中任意一项所述的方法。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于预设优化方法,确定执行所述逻辑执行计划后得到的目标数据集,包括以下至少一种情况:

3.根据权利要求2所述的方法,其特征在于,所述若在缓存和/或数据库中存在所述待处理数据集的逻辑执行计划的结果集,则将所述结果集作为所述目标数据集,包括以下至少一种情况:

4.根据权利要求2所述的方法,其特征在于,所述若在缓存和/或数据库中存在所述待处理数据集的逻辑执行计划的结果集,则将所述结果集作为所述目标数据集之前,所述方法还包括:

5.根据权利要求2所述的方法,其特征在于,所述若在缓存和/或数据库中不存在所述待处理数据...

【专利技术属性】
技术研发人员:邬惠明沈丹丹
申请(专利权)人:金蝶软件中国有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1