System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据存储方法、数据读取方法、装置、设备及介质制造方法及图纸_技高网

数据存储方法、数据读取方法、装置、设备及介质制造方法及图纸

技术编号:40056583 阅读:7 留言:0更新日期:2024-01-16 22:02
本公开实施例涉及一种数据存储方法、数据读取方法、装置、设备及介质,数据存储方法包括:响应于针对目标数据的存储指令,获取所述目标数据的大小;若所述目标数据的大小大于预设压缩阈值,对所述目标数据进行压缩处理,得到压缩数据和压缩处理信息;若所述压缩数据的大小大于预设拆分阈值,对所述压缩数据进行拆分处理,得到多个拆分数据和拆分处理信息;基于目标数据的关键索引,将多个所述拆分数据关联存储于目标存储系统。本公开可使待存储数据能够以较小数据的形式存储在存储系统中,有效缩减数据读取时长,有助于进一步降低服务响应时长,保障服务稳定性。

【技术实现步骤摘要】

本公开涉及数据处理,尤其涉及一种数据存储方法、数据读取方法、装置、设备及介质


技术介绍

1、在现如今的绝大多数领域中都会涉及到大量数据,并需要进行数据存储及读取操作。现有技术大多都是直接对数据进行存储,而很多情况下数据很大,读取较大的数据时通常需要耗费较长的时间,导致服务响应时间较长,容易给服务稳定性带来不良影响。


技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种数据存储方法、数据读取方法、装置、设备及介质。

2、第一方面,本公开实施例提供了一种数据存储方法,所述方法包括:响应于针对目标数据的存储指令,获取所述目标数据的大小;所述存储指令用于指示将所述目标数据存储于目标存储系统中;若所述目标数据的大小大于预设压缩阈值,对所述目标数据进行压缩处理,得到压缩数据和压缩处理信息;若所述压缩数据的大小大于预设拆分阈值,对所述压缩数据进行拆分处理,得到多个拆分数据和拆分处理信息;基于所述目标数据的关键索引,将多个所述拆分数据关联存储于所述目标存储系统;其中,在所述目标存储系统中与所述目标数据的关键索引相关联的拆分数据携带有所述目标数据的拆分处理信息和压缩处理信息。

3、第二方面,本公开实施例提供了一种数据读取方法,所述方法包括:响应于针对目标数据的读取指令,从目标存储系统中查找所述目标数据的关键索引对应的关联数据;所述读取指令用于指示从所述目标存储系统中读取所述目标数据;若查找到所述关联数据且所述关联数据包含有所述目标数据的拆分处理信息和压缩处理信息,基于所述拆分处理信息和所述目标数据的关键索引,从所述目标存储系统中获取所述目标数据被拆分所得的多个拆分数据;将获取到的所述多个拆分数据进行合并处理,得到合并数据;根据所述压缩处理信息对所述合并数据进行解压处理,将解压后的数据作为读取到的所述目标数据。

4、第三方面,本公开实施例提供了一种数据存储装置,所述装置包括:大小获取模块,用于响应于针对目标数据的存储指令,获取所述目标数据的大小;所述存储指令用于指示将所述目标数据存储于目标存储系统中;压缩处理模块,用于若所述目标数据的大小大于预设压缩阈值,对所述目标数据进行压缩处理,得到压缩数据和压缩处理信息;拆分处理模块,用于若所述压缩数据的大小大于预设拆分阈值,对所述压缩数据进行拆分处理,得到多个拆分数据和拆分处理信息;关联存储模块,用于基于所述目标数据的关键索引,将多个所述拆分数据关联存储于所述目标存储系统。

5、第四方面,本公开实施例提供了一种数据读取装置,所述装置包括:关联数据查找模块,用于响应于针对目标数据的读取指令,从目标存储系统中查找所述目标数据的关键索引对应的关联数据;所述读取指令用于指示从所述目标存储系统中读取所述目标数据;拆分数据获取模块,用于若查找到所述关联数据且所述关联数据包含有所述目标数据的拆分处理信息和压缩处理信息,基于所述拆分处理信息和所述目标数据的关键索引,从所述目标存储系统中获取所述目标数据被拆分所得的多个拆分数据;合并处理模块,用于将获取到的所述多个拆分数据进行合并处理,得到合并数据;解压处理模块,用于根据所述压缩处理信息对所述合并数据进行解压处理,将解压后的数据作为读取到的所述目标数据。

6、第五方面,本公开实施例提供了一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现如本公开实施例提供的数据存储方法或数据读取方法。

7、第六方面,本公开实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行如本公开实施例提供的数据存储方法或数据读取方法。

8、本公开实施例提供的上述数据存储方法及装置,在对目标数据进行存储时,可以设置压缩阈值和拆分阈值,首先可以基于压缩阈值判别是否需要将目标数据进行压缩,如果需要压缩(目标数据的大小大于压缩阈值的情况),则在得到压缩数据之后还会进一步基于拆分阈值判别是否需要将压缩数据进行拆分,如果需要拆分(拆分数据的大小大于拆分阈值的情况),则对压缩数据进行拆分,并将所得的多个拆分数据关联存储于目标存储系统。这种方式可以合理有效地将较大的数据进行处理,使该数据能够以较小数据的形式存储在目标存储系统中,更有助于后续数据读取操作,并且与目标数据的关键索引相关联的拆分数据携带有目标数据的拆分处理信息和压缩处理信息,便于后续可以准确还原所需的目标数据。这种数据存储方式可有效提升后续的数据读取效率,缩减数据读取时长,有助于进一步降低服务响应时长,保障服务稳定性。

9、本公开实施例提供的上述数据读取方法及装置,在读取目标数据时,可以首先从目标存储系统中查找目标数据的关键索引对应的关联数据,若查找到关联数据且该关联数据包含有目标数据的拆分处理信息和压缩处理信息,基于拆分处理信息和目标数据的关键索引,从目标存储系统中获取目标数据被拆分所得的多个拆分数据;之后可进一步对多个拆分数据进行合并处理,得到合并数据;以及根据压缩处理信息对合并数据进行解压处理,将解压后的数据作为读取到的目标数据。上述方式可以直接对查找到的较小的拆分数据进行读取及合并处理,与直接读取较大数据相比,可有效提升数据读取效率,缩减数据读取时间,有助于进一步降低服务响应时长,保障服务稳定性。

10、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种数据存储方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于所述目标数据的关键索引,将多个所述拆分数据关联存储于所述目标存储系统的步骤,包括:

3.根据权利要求2所述的方法,其特征在于,基于所述排序以及所述目标数据的关键索引,确定每个所述拆分数据的关键索引的步骤,包括:

4.根据权利要求2所述的方法,其特征在于,基于所述目标数据对应的版本标识,将每个所述拆分数据及相应的关键索引关联存储于所述目标存储系统中的步骤,包括:

5.根据权利要求4所述的方法,其特征在于,所述排在首位的拆分数据对应的关键索引与所述目标数据的关键索引一致;

6.根据权利要求5所述的方法,其特征在于,将排在非首位的拆分数据对应的关键索引、与所述排在非首位的拆分数据及所述目标数据对应的版本标识关联存储于所述目标存储系统的步骤,包括:

7.根据权利要求5所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,所述方法还包括:

9.一种数据读取方法,其特征在于,包括:

10.根据权利要求9所述的方法,其特征在于,所述关联数据还包括所述目标数据的版本标识;所述拆分处理信息包括将所述目标数据拆分所得的多个拆分数据的总个数;

11.根据权利要求10所述的方法,其特征在于,将获取到的所述多个拆分数据进行合并,得到合并数据的步骤,包括:

12.根据权利要求9所述的方法,其特征在于,将获取到的所述多个拆分数据进行合并处理,得到合并数据的步骤,包括:

13.根据权利要求9所述的方法,其特征在于,所述方法还包括:

14.根据权利要求9所述的方法,其特征在于,所述方法还包括:

15.根据权利要求9至14任一项所述的方法,其特征在于,所述多个拆分数据是基于如下方式存储于所述目标存储系统中的:

16.一种数据存储装置,其特征在于,包括:

17.一种数据读取装置,其特征在于,包括:

18.一种电子设备,其特征在于,所述电子设备包括:

19.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-8中任一所述的数据存储方法或者上述权利要求9-15中任一所述的数据读取方法。

...

【技术特征摘要】

1.一种数据存储方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于所述目标数据的关键索引,将多个所述拆分数据关联存储于所述目标存储系统的步骤,包括:

3.根据权利要求2所述的方法,其特征在于,基于所述排序以及所述目标数据的关键索引,确定每个所述拆分数据的关键索引的步骤,包括:

4.根据权利要求2所述的方法,其特征在于,基于所述目标数据对应的版本标识,将每个所述拆分数据及相应的关键索引关联存储于所述目标存储系统中的步骤,包括:

5.根据权利要求4所述的方法,其特征在于,所述排在首位的拆分数据对应的关键索引与所述目标数据的关键索引一致;

6.根据权利要求5所述的方法,其特征在于,将排在非首位的拆分数据对应的关键索引、与所述排在非首位的拆分数据及所述目标数据对应的版本标识关联存储于所述目标存储系统的步骤,包括:

7.根据权利要求5所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,所述方法还包括:

9.一种数据读取方法,其特征在于,包括:

10.根据权利要求9所...

【专利技术属性】
技术研发人员:林君委何磊
申请(专利权)人:北京有竹居网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1