数据存储方法、装置、电子设备和计算机可读存储介质制造方法及图纸

技术编号:35494063 阅读:16 留言:0更新日期:2022-11-05 16:51
本申请提供了一种数据存储方法、装置、电子设备和计算机可读存储介质,其中,该方法包括:针对目标多副本数据,从该目标多副本数据中确定出至少一个目标主副本数据和至少一个目标从副本数据;将该目标主副本数据进行存储,该主副本数据用于响应数据访问请求;将该目标从副本数据进行压缩,得到压缩副本数据;将该压缩副本数据进行存储。通过上述方法,能够降低数据存储的空间占用量,也能够保持数据访问需求。访问需求。访问需求。

【技术实现步骤摘要】
数据存储方法、装置、电子设备和计算机可读存储介质


[0001]本申请涉及数据存储
,具体而言,涉及一种数据存储方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]随着信息化时代的来临,数据量也处于爆炸式增长的趋势,各企业在数据存储上的投资也越来越大。为了能够在有限的存储设备上存储更多的数据,降低存储成本,各个分布式存储采用了存储压缩技术。但是将数据进行压缩存储,在接收数据访问请求时需要对数据进行解压缩,所需的处理资源变高,也可能导致存储访问性能变差。

技术实现思路

[0003]本申请的目的在于提供一种数据存储方法、装置、电子设备和计算机可读存储介质,能够改善数据存储的空间占用大或数据访问性能的问题。
[0004]第一方面,本申请提供一种数据存储方法,包括:针对目标多副本数据,从所述目标多副本数据中确定出至少一个目标主副本数据和至少一个目标从副本数据;将所述目标主副本数据进行存储,所述主副本数据用于响应数据访问请求;将所述目标从副本数据进行压缩,得到压缩副本数据;将所述压缩副本数据进行存储。
[0005]在可选的实施方式中,所述将所述目标主副本数据进行存储,包括:将所述目标主副本数据存储在第一存储设备中;
[0006]所述将所述压缩副本数据进行存储,包括:将所述压缩副本数据存储在第二存储设备中。
[0007]在上述实施方式中,可以将主副本数据和压缩副本数据分别存储在不同的存储设备中,可以分散存储压力。另外,在任意一个存储设备异常时也能够通过其它存储设备的访问以获得数据。进一步地,将主副本数据和压缩副本数据分别存储在不同的存储设备中可以使各存储设备的负载能够相对均衡。
[0008]在可选的实施方式中,所述方法还包括:若所述第一存储设备出现异常,将所述第二存储设备中的压缩副本数据进行解压缩处理,得到第一原始副本数据,其中,所述第一原始副本数据作为新的主副本数据用于响应数据访问请求。
[0009]在上述实施方式中,可以通过将压缩副本数据解压缩,以接替原始的主副本数据的被访问的任务,可以在数据能够正常响应的基础上,还能够提高数据响应效率。
[0010]在可选的实施方式中,所述将所述压缩副本数据存储在第二存储设备中,包括:若所述目标多副本数据包括N项目标从副本数据,则将N项目标从副本数据存入N个第二存储设备中;
[0011]所述将所述第二存储设备中的压缩副本数据进行解压缩处理,得到第一原始副本数据,包括:根据N个第二存储设备的使用率,从N个第二存储设备中选出目标第二存储设备,其中,N为大于或等于2的正整数;将所述目标第二存储设备中的压缩副本数据进行解压
缩处理,得到第一原始副本数据。
[0012]在可选的实施方式中,所述方法还包括:
[0013]按照设定周期获取各个存储设备的使用率,其中,每个所述存储设备中可以存储多项不同数据对应的主副本数据;
[0014]若第一目标存储设备的使用率大于第一阈值时,从所述第一目标存储设备选出第一比例的主副本数据;
[0015]从各存储设备中筛选所述第一比例的主副本数据中的各项主副本数据对应的压缩副本数据;
[0016]将所述第一比例的主副本数据中的各项主副本数据对应的压缩副本数据进行解除压缩,以得到第二原始副本数据,所述第二原始副本数据用于作为所述第一比例的主副本数据对应的新的主副本数据,用于响应数据访问请求。
[0017]在上述实施方式中,还可以基于存储设备的使用率适当地增加新的主副本数据,用来响应数据访问请求,从而降低存储设备的响应压力,也能够提高数据访问请求的响应速度。
[0018]在可选的实施方式中,所述从所述第一目标存储设备选出第一比例的主副本数据,包括:
[0019]根据所述第一目标存储设备中的各项数据中的热度,筛选出热度高的第一比例的主副本数据。
[0020]在上述实施方式中,可以筛选出热度较高的主副本数据,为其新增主副本数据,从而可以分散数据访问请求,降低存储设备的处理器的处理压力。
[0021]在可选的实施方式中,所述从各存储设备中筛选所述第一比例的主副本数据中的各项主副本数据对应的压缩副本数据,包括:
[0022]针对所述第一比例的主副本数据中的任意一项第一主副本数据,获取存储所述第一主副本数据对应的压缩副本数据的存储设备的使用率;
[0023]筛选出使用率小于第一目标值的存储设备;
[0024]从所述使用率小于第一目标值的存储设备中,确定出所述第一主副本数据对应的压缩副本数据。
[0025]在上述实施方式中,通过可以筛选出使用率较小的存储设备,从其中的选出作为主副本数据的压缩副本数据,可以在提高数据访问请求的效率的情况下,还能够平衡各存储设备的压力。
[0026]在可选的实施方式中,所述方法还包括:
[0027]若第二目标存储设备的使用率大于第二阈值且小于第一阈值时,从所述第一目标存储设备选出第二比例的主副本数据,所述第二比例小于所述第一比例;
[0028]从各存储设备中筛选所述第二比例的主副本数据中的各项主副本数据对应的压缩副本数据;
[0029]将所述第二比例的主副本数据中的各项主副本数据对应的压缩副本数据进行解除压缩,得到第三原始副本数据,所述第三原始副本数据用于作为所述第一比例的主副本数据的新的主副本数据,用于响应数据访问请求。
[0030]在上述实施方式中,在存储设备的使用率中等时,可以选出少量的数据增加主副
本,分散数据访问请求至不同的存储设备,降低存储设备的压力,提高数据访问请求的效率。
[0031]在可选的实施方式中,所述从所述第一目标存储设备选出第二比例的主副本数据,包括:根据所述第二目标存储设备中的各项数据中的热度,筛选出热度高的第二比例的主副本数据。
[0032]在可选的实施方式中,所述方法还包括:
[0033]若各存储设备中的目标数据被访问的热度低于指定标准,且目标数据被访问的热度低于指定标准的持续时长大于指定时长,从各存储设备中筛选出所述目标数据对应的至少一项目的主副本数据;
[0034]将所述目的主副本数据进行压缩存储。
[0035]在上述实施方式中,在数据热度变低后,可以降低主副本数据的数量,可以释放部分存储设备的存储空间。
[0036]在可选的实施方式中,所述从各存储设备中筛选出所述目标数据对应的至少一项目的主副本数据,包括:
[0037]获取存储所述目标数据相同的主副本数据的存储设备的使用率;
[0038]筛选出使用率大于第二目标值的存储设备;
[0039]从所述使用率大于第二目标值的存储设备中,确定出所述目标数据对应的主副本数据。
[0040]在上述实施方式中,可以选出使用率较高的存储设备,将其存储的主副本数据进行压缩,不再提供数据访问请求,也就能够降低存储设备的使用率,降低存储设备的压力。
[0041]第二方面,本申请本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法,其特征在于,包括:针对目标多副本数据,从所述目标多副本数据中确定出至少一个目标主副本数据和至少一个目标从副本数据;将所述目标主副本数据进行存储,所述主副本数据用于响应数据访问请求;将所述目标从副本数据进行压缩,得到压缩副本数据;将所述压缩副本数据进行存储。2.根据权利要求1所述的方法,其特征在于,所述将所述目标主副本数据进行存储,包括:将所述目标主副本数据存储在第一存储设备中;所述将所述压缩副本数据进行存储,包括:将所述压缩副本数据存储在第二存储设备中。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:若所述第一存储设备出现异常,将所述第二存储设备中的压缩副本数据进行解压缩处理,得到第一原始副本数据,其中,所述第一原始副本数据作为新的主副本数据用于响应数据访问请求。4.根据权利要求3所述的方法,其特征在于,所述将所述压缩副本数据存储在第二存储设备中,包括:若所述目标多副本数据包括N项目标从副本数据,则将N项目标从副本数据存入N个第二存储设备中;所述将所述第二存储设备中的压缩副本数据进行解压缩处理,得到第一原始副本数据,包括:根据N个第二存储设备的使用率,从N个第二存储设备中选出目标第二存储设备,其中,N为大于或等于2的正整数;将所述目标第二存储设备中的压缩副本数据进行解压缩处理,得到第一原始副本数据。5.根据权利要求2所述的方法,其特征在于,所述方法还包括:按照设定周期获取各个存储设备的使用率,其中,每个所述存储设备中可以存储多项不同数据对应的主副本数据;若第一目标存储设备的使用率大于第一阈值时,从所述第一目标存储设备选出第一比例的主副本数据;从各存储设备中筛选所述第一比例的主副本数据中的各项主副本数据对应的压缩副本数据;将所述第一比例的主副本数据中的各项主副本数据对应的压缩副本数据进行解除压缩,以得到第二原始副本数据,所述第二原始副本数据用于作为所述第一比例的主副本数据对应的新的主副本数据,用于响应数据访问请求。6.根据权利要求5所述的方法,其特征在于,所述从所述第一目标存储设备选出第一比例的主副本数据,包括:根据所述第一目标存储设备中的各项数据中的热度,筛选出热度高的第一比例的主副本数据。7.根据权利要求5所述的方法,其特征在于,所述从各存储设备中筛选所述第一比例的
主副本数据中的各项主副本数据对应的压缩副本数据,包括:针对所述第一比例的主副本数据中的任意一项第一主副本数据,获取存储所述第一主副本数据对应的压缩副本数据的存储设备的使用率;筛选出使用率小于第一目标值的存储设备;从...

【专利技术属性】
技术研发人员:陈仲涛
申请(专利权)人:北京天融信科技有限公司北京天融信软件有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1