System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据存储方法、装置、电子设备及存储介质制造方法及图纸_技高网

数据存储方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41205629 阅读:8 留言:0更新日期:2024-05-07 22:31
本申请提供一种数据存储方法、装置、电子设备及存储介质,该方法包括:确定当前时间周期内的目标数据对象,并根据目标数据对象的对象标识,获取在历史时间周期内与对象标识相对应的历史分区信息,历史分区信息包括历史分区数量以及历史分区尺寸;根据历史分区数量以及历史分区尺寸,确定在当前时间周期内与对象标识相对应的当前分区信息;按照当前分区信息,将目标数据对象划分为多个分区子对象,并将多个分区子对象存储至预设的文件存储系统。在该方式中,数据对象在当前时间周期内的分区情况能够根据该数据对象在历史时间周期内的分区情况进行动态调整,从而确保当前时间周期内的分区情况更加符合业务需求,进而兼顾读取效率以及存储效率。

【技术实现步骤摘要】

本申请涉及数据处理,特别涉及一种数据存储方法、装置、电子设备及存储介质


技术介绍

1、随着互联网行业的日益发展,数据存储需求也越来越多。在很多业务场景中,需要对海量数据进行存储。例如,随着线上业务的不断运行,数据存储需求也不断增加。另外,已有数据表中的存储内容也会动态变化,因此,需要动态存储业务运行过程中产生的各种数据表。在相关技术中,数据表按照固定分区方式进行存储。相应的,数据表的分区划分方式以及分区数量都是固定不变的。


技术实现思路

1、本申请提供一种数据存储方法、装置、电子设备及存储介质,用以动态确定分区数量,进而提升读取效率和存储效率。

2、第一方面,本申请提供了一种数据存储方法,包括:

3、确定当前时间周期内的目标数据对象,并根据所述目标数据对象的对象标识,获取在历史时间周期内与所述对象标识相对应的历史分区信息,历史分区信息包括历史分区数量以及历史分区尺寸;

4、根据所述历史分区数量以及所述历史分区尺寸,确定在所述当前时间周期内与所述对象标识相对应的当前分区信息;

5、按照所述当前分区信息,将所述目标数据对象划分为多个分区子对象,并将所述多个分区子对象存储至预设的文件存储系统。

6、第二方面,本申请提供了一种数据存储装置,包括:

7、获取模块,适于确定当前时间周期内的目标数据对象,并根据所述目标数据对象的对象标识,获取在历史时间周期内与所述对象标识相对应的历史分区信息,历史分区信息包括历史分区数量以及历史分区尺寸;

8、确定模块,适于根据所述历史分区数量以及所述历史分区尺寸,确定在所述当前时间周期内与所述对象标识相对应的当前分区信息;

9、存储模块,适于按照所述当前分区信息,将所述目标数据对象划分为多个分区子对象,并将所述多个分区子对象存储至预设的文件存储系统。

10、第三方面,本申请提供了一种电子设备,该电子设备包括:至少一个处理器;至少一个存储器;以及一个或多个i/o接口,连接在处理器与存储器之间;其中,存储器存储有可被至少一个处理器执行的一个或多个计算机程序,一个或多个计算机程序被至少一个处理器执行,以使至少一个处理器能够执行上述数据存储方法。

11、第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,其中,计算机程序在被处理器/处理核执行时实现上述数据存储方法。

12、在本申请提供的数据存储方法中,能够根据目标数据对象的对象标识,获取在历史时间周期内与该对象标识相对应的历史分区信息;从而根据历史分区信息中的历史分区数量以及历史分区尺寸确定在当前时间周期内与该对象标识相对应的当前分区信息;相应的,按照当前分区信息,即可将目标数据对象划分为多个分区子对象,并将多个分区子对象存储至预设的文件存储系统。由此可见,该方式能够根据历史时间周期内与该对象标识相对应的历史分区信息,动态计算在当前时间周期内与该对象标识相对应的当前分区信息。其中,根据历史分区信息中的历史分区数量以及历史分区尺寸,能够确定历史分区的结果是否合理,进而根据历史分区结果动态确定当前分区信息。换言之,数据对象在当前时间周期内的分区情况能够根据该数据对象在历史时间周期内的分区情况进行动态调整,从而确保当前时间周期内的分区情况更加符合业务需求,进而兼顾读取效率以及存储效率。

13、应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种数据存储方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述目标数据对象的对象标识,获取在历史时间周期内与所述对象标识相对应的历史分区信息,包括:

3.根据权利要求2所述的方法,其特征在于,所述当前分区信息包括当前分区尺寸和当前分区数量;所述根据所述历史分区数量以及所述历史分区尺寸,确定在所述当前时间周期内与所述对象标识相对应的当前分区信息,包括:

4.根据权利要求2所述的方法,其特征在于,所述历史数据信息包括与所述数据业务类型相对应的第二历史数据对象,以及所述第二历史数据对象包括的多条数据记录的记录总数量和单条记录尺寸;

5.根据权利要求1所述的方法,其特征在于,所述历史分区信息包括历史一级分区信息和历史二级分区信息;所述当前分区信息包括当前一级分区信息和当前二级分区信息;

6.根据权利要求1所述的方法,其特征在于,所述根据所述目标数据对象的对象标识,获取在历史时间周期内与所述对象标识相对应的历史分区信息之前,还包括:

7.根据权利要求1-6任一所述的方法,其特征在于,所述获取与当前时间周期相对应的目标数据对象包括:

8.一种数据存储装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序在被处理器执行时实现如权利要求1-7中任一项所述的数据存储方法。

...

【技术特征摘要】

1.一种数据存储方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述目标数据对象的对象标识,获取在历史时间周期内与所述对象标识相对应的历史分区信息,包括:

3.根据权利要求2所述的方法,其特征在于,所述当前分区信息包括当前分区尺寸和当前分区数量;所述根据所述历史分区数量以及所述历史分区尺寸,确定在所述当前时间周期内与所述对象标识相对应的当前分区信息,包括:

4.根据权利要求2所述的方法,其特征在于,所述历史数据信息包括与所述数据业务类型相对应的第二历史数据对象,以及所述第二历史数据对象包括的多条数据记录的记录总数量和单条记录尺寸;

5.根据权利要求1所述的方法,其特征...

【专利技术属性】
技术研发人员:明敏张永辉鹿凌华王思远
申请(专利权)人:马上消费金融股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1