一种基于数据分片的数据存储方法、设备及介质技术

本申请公开了一种基于数据分片的数据存储方法、设备及介质，应用于数据存储技术领域。其中，该方法包括：获取待存储的目标数据的特征信息；使用纠删码技术对所述目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片；根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，并按照所述存储策略存储所述至少两个数据分片。采用本申请，有助于减少数据存储和维护的成本。

【技术实现步骤摘要】
一种基于数据分片的数据存储方法、设备及介质
本申请涉及数据存储
，尤其涉及一种基于数据分片的数据存储方法、设备及介质。
技术介绍
随着数字化技术的发展，需要存储的数据量急剧增大。传统存储解决方案为了保证数据安全，一般采取多地灾备，在多地对同一份数据进行完全备份，这就导致数据存储冗余，增加了数据存储和维护的成本。.
技术实现思路
本申请实施例提供一种基于数据分片的数据存储方法、设备及介质，有助于减少数据存储和维护的成本。第一方面，本申请实施例提供了一种基于数据分片的数据存储方法，应用于预先部署的分布式存储系统，所述分布式存储系统包括至少两个存储设备，所述方法包括：获取待存储的目标数据的特征信息，所述特征信息包括以下信息中的任一项或多项：所述目标数据的数据标签、所述目标数据的重要等级、所述目标数据的存储费用以及所述目标数据的大小；使用纠删码技术对所述目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，所述至少两个数据分片包括所述目标数据对应的n块原始数据分片和m块冗余数据分片，所述n和m均为大于0的整数；根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，并按照所述存储策略存储所述至少两个数据分片，所述存储策略指示了所述至少两个数据分片中每个数据分片在所述至少两个存储设备中的存储位置。可选的，在所述使用纠删码技术对目标数据进行分片处理之前，所述方法还包括：获取所述分布式存储系统的规模信息，所述规模信息包括所述至少两个存储设备对应的数量；根据预设的存储系统规模信息和分片比例的对应关系，确定出与所述分布式存储系统的规模信息对应的分片比例，所述分片比例用于指示原始数据分片和冗余数据分片之间的比例；所述使用纠删码技术对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，包括：使用纠删码技术并按照所述分片比例对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片。可选的，所述目标数据的特征信息包括所述目标数据的重要等级；在所述使用纠删码技术对目标数据进行分片处理之前，所述方法还包括：根据预设的数据重要等级和分片比例的对应关系，确定出与所述目标数据的重要等级对应的分片比例，所述分片比例用于指示原始数据分片和冗余数据分片之间的比例；所述使用纠删码技术对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，包括：使用纠删码技术并按照所述分片比例对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片。可选的，所述根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，包括：根据预设的数据特征信息和存储策略的对应关系，确定出与所述目标数据的特征信息对应的存储策略，并将确定出的存储策略作为对所述至少两个数据分片的存储策略；其中，不同的数据特征信息对应的存储策略指示的各数据分片在所述至少两个存储设备中的存储位置存在不同。可选的，所述方法还包括：获取所述至少两个存储设备中每个存储设备的存储信息，所述存储信息包括以下信息中的任一项或多项：剩余存储空间、已使用存储空间、部署位置以及安全等级；所述根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，包括：根据所述目标数据的特征信息和所述至少两个存储设备中每个存储设备的存储信息，确定对所述至少两个数据分片的存储策略。可选的，在所述按照所述存储策略存储所述至少两个数据分片之后，所述方法还包括：按照预设的周期检测所述至少两个数据分片中各数据分片的存储状态，所述存储状态包括正常状态和非正常状态；当检测到处于非正常状态的数据分片的数目超过预设的第一数目阈值时，根据所述至少两个数据分片中处于正常状态的数据分片重构处于非正常状态的数据分片，并存储重构的数据分片。可选的，所述按照预设的周期检测所述至少两个数据分片中各数据分片的存储状态，包括：按照预设的第一周期检测所述至少两个数据分片中各数据分片的存储状态；当检测到处于非正常状态的数据分片的数目超过预设的第二数目阈值时，按照预设的第二周期检测所述至少两个数据分片中处于正常状态的数据分片的存储状态；其中，所述第二周期对应的时间间隔小于所述第一周期对应的时间间隔，所述第二数目阈值小于所述第一数目阈值。第二方面，本申请实施例提供了一种数据处理设备，该数据处理设备包括用于执行上述第一方面的方法的单元。第三方面，本申请实施例提供了另一种数据处理设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储支持数据处理设备执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。可选的，该数据处理设备还可包括用户接口和/或通信接口。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。本申请实施例能够通过利用纠删码技术对待存储的目标数据进行分片处理，以得到该目标数据对应的至少两个数据分片，并能够通过获取该目标数据的特征信息，根据该目标数据的特征信息确定对得到的该至少两个数据分片的存储策略，以按照该存储策略将该至少两个数据分片存储于分布式存储系统包括的至少两个存储设备中，而无需多地灾备，这就避免了数据存储冗余，有助于减少数据存储和维护的成本，且提升了数据存储的安全性。附图说明为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种基于数据分片的数据存储方法的流程示意图；图2是本申请实施例提供的另一种基于数据分片的数据存储方法的流程示意图；图3是本申请实施例提供的一种数据处理设备的结构示意图；图4是本申请实施例提供的另一种数据处理设备的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的技术方案可应用于数据处理设备中，该数据处理设备可以是服务器、存储设备、终端或其他处理设备，用于对数据进行处理，包括分片处理、确定对数据如数据分片的存储策略等等。该存储策略可以指示数据如各数据分片在预先部署的分布式存储系统中的存储位置，该分布式存储系统包括至少两个存储设备，该存储策略可具体指示各数据分片在该至少两个存储设备中的存储位置。本申请涉及的存储设备可以是服务器、存储器或其他存储设备(或装置)，终端可以是手机、电脑、平板、个人计算机、智能手表等，本申请不做限定。可选的，该分布式存储系统可以为任一分布式系统如P2P分布式存储系统，或者还可以为P2P分布式存储系统和中心式存储系统构成的系统，或者还可以为其他存储系统，本申请不做限定。该数据处理设备可以为该分布式存储系统中的设备，比如该中心式存储系统中的存储设备(存储中心)；或者，还可以是P2P分布式存储系统中的存储设备；或本文档来自技高网...

【技术保护点】
1.一种基于数据分片的数据存储方法，其特征在于，应用于预先部署的分布式存储系统，所述分布式存储系统包括至少两个存储设备，所述方法包括：获取待存储的目标数据的特征信息，所述特征信息包括以下信息中的任一项或多项：所述目标数据的数据标签、所述目标数据的重要等级、所述目标数据的存储费用以及所述目标数据的大小；使用纠删码技术对所述目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，所述至少两个数据分片包括所述目标数据对应的n块原始数据分片和m块冗余数据分片，所述n和m均为大于0的整数；根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，并按照所述存储策略存储所述至少两个数据分片，所述存储策略指示了所述至少两个数据分片中每个数据分片在所述至少两个存储设备中的存储位置。

【技术特征摘要】
1.一种基于数据分片的数据存储方法，其特征在于，应用于预先部署的分布式存储系统，所述分布式存储系统包括至少两个存储设备，所述方法包括：获取待存储的目标数据的特征信息，所述特征信息包括以下信息中的任一项或多项：所述目标数据的数据标签、所述目标数据的重要等级、所述目标数据的存储费用以及所述目标数据的大小；使用纠删码技术对所述目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，所述至少两个数据分片包括所述目标数据对应的n块原始数据分片和m块冗余数据分片，所述n和m均为大于0的整数；根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，并按照所述存储策略存储所述至少两个数据分片，所述存储策略指示了所述至少两个数据分片中每个数据分片在所述至少两个存储设备中的存储位置。2.根据权利要求1所述的方法，其特征在于，在所述使用纠删码技术对目标数据进行分片处理之前，所述方法还包括：获取所述分布式存储系统的规模信息，所述规模信息包括所述至少两个存储设备对应的数量；根据预设的存储系统规模信息和分片比例的对应关系，确定出与所述分布式存储系统的规模信息对应的分片比例，所述分片比例用于指示原始数据分片和冗余数据分片之间的比例；所述使用纠删码技术对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，包括：使用纠删码技术并按照所述分片比例对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片。3.根据权利要求1所述的方法，其特征在于，所述目标数据的特征信息包括所述目标数据的重要等级；在所述使用纠删码技术对目标数据进行分片处理之前，所述方法还包括：根据预设的数据重要等级和分片比例的对应关系，确定出与所述目标数据的重要等级对应的分片比例，所述分片比例用于指示原始数据分片和冗余数据分片之间的比例；所述使用纠删码技术对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片，包括：使用纠删码技术并按照所述分片比例对目标数据进行分片处理，以得到所述目标数据对应的至少两个数据分片。4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述目标数据的特征信息确定对所述至少两个数据分片的存储策略，包括：根据预设的数据特征信息和存储策略的对应关系，确定出与...

【专利技术属性】
技术研发人员：梁劲峰，郑映锋，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44