数据存储方法及装置、电子设备和存储介质制造方法及图纸

技术编号:37579400 阅读:28 留言:0更新日期:2023-05-15 07:54
本公开提供了一种数据存储方法及装置、设备和介质,涉及分布式存储技术领域。实现方案为:获取待存储的多个数据块和多个数据块的存储需信息;基于存储需求信息,确定所述多个数据块的目标编码策略;基于目标编码策略,对多个数据块进行编码,以生成多个数据块对应的多个校验块;以及将多个数据块和多个校验块关联存储。存储。存储。

【技术实现步骤摘要】
数据存储方法及装置、电子设备和存储介质


[0001]本公开涉及分布式存储
,具体涉及一种数据存储方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]分布式存储是一种将数据分散存储在多台独立的设备上的存储技术。相应地,分布式存储系统是采用分布式存储技术的存储系统,其包括用于存储数据的多台设备。在分布式存储系统中,通常采用冗余的方式来存储数据,以保证分布式存储系统的可靠性和容错性,避免因部分设备出错而导致数据丢失。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0004]本公开提供了一种数据存储方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
[0005]根据本公开的一方面,提供了一种数据存储方法,包括:获取待存储的多个数据块和所述多个数据块的存储需求信息;基于所述存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法,包括:获取待存储的多个数据块和所述多个数据块的存储需求信息;基于所述存储需求信息,确定所述多个数据块的目标编码策略;基于所述目标编码策略,对所述多个数据块进行编码,以生成所述多个数据块对应的多个校验块;以及将所述多个数据块和所述多个校验块关联存储。2.如权利要求1所述的方法,其中,所述基于所述存储需求信息,确定所述多个数据块的目标编码策略包括:基于预设的存储需求信息与编码策略的对应关系,确定所述多个数据块的目标编码策略。3.如权利要求1或2所述的方法,其中,所述存储需求信息包括以下至少一种:存储成本需求信息、存储可靠性需求信息、读写性能需求信息。4.如权利要求1

3中任一项所述的方法,其中,所述目标编码策略包括每次编码相应的数据块的第一数量和每次编码所生成的校验块的第二数量,并且其中,所述基于所述目标编码策略,对所述多个数据块进行编码,以生成所述多个数据块对应的多个校验块包括:将所述多个数据块划分为至少一个数据组,每个数据组包括所述第一数量的数据块;以及分别对每个数据组进行编码,以生成该数据组对应的所述第二数量的校验块。5.如权利要求4所述的方法,其中,将所述多个数据块和所述多个校验块关联存储包括:将所述多个数据块和所述多个校验块存储为至少一个条带,其中,每个条带包括一个数据组以及该数据组所对应的校验块。6.如权利要求4或5所述的方法,其中,所述目标编码策略包括所述第一数量的数值所属的第一数值范围和所述第二数量的数值所属的第二数值范围,所述方法还包括:统计所述多个数据块在预设时间段内的访问频数;基于所述访问频数,对所述第一数量和所述第二数量中的至少之一的数值进行调整,其中,调整后的第一数量的数值属于所述第一数值范围,调整后的第二数量的数值属于所述第二数值范围;以及基于调整后的第一数量和第二数量,对所述多个数据块进行编码。7.如权利要求6所述的方法,其中,调整后的第一数量的数值与调整后的第二数量的数值之间的比值与所述访问频数负相关。8.如权利要求4

7中任一项所述的方法,其中,所述目标编码策略包括目标编码模式,所述目标编码模式包括基于生成多项式的第一编码模式,并且其中,所述分别对每个数据组进行编码,以生成该数据组对应的所述第二数量的校验块包括:采用所述生成多项式对该数据组进行编码,以生成第二数量的校验块,其中,所述第二数量的校验块包括目标校验块,所述目标校验块为该数据组所包括的所述第一数量的数据
块的异或,以用于故障修复。9.如权利要求8所述的方法,还包括:对至少一个条带进行故障检测;以及响应于确定所述至少一个条带中的至少一者包括至少一个故障块,基于所述至少一个故障块的数量和类型以及所述目标校验块,对所述至少一个故障块进行修复。10.如权利要求9所述的方法,其中,所述基于所述至少一个故障块的数量和类型以及所述目标校验块,对所述至少一个故障块进行修复包括以下各项中的至少一者:响应于确定所述至少一个故障块的数量为一并且所述故障块为数据块,将所述故障块替换为所述...

【专利技术属性】
技术研发人员:梁松涛何钧王一周全
申请(专利权)人:上海哔哩哔哩科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1