数据删除方法及分布式存储系统技术方案

本发明专利技术实施例提供了一种数据删除方法及分布式存储系统，应用于分布式存储系统中的管理服务器的方法，包括：当确定需要批量删除数据时，根据预设的数据删除规则，确定目标时间点；将所确定的目标时间点发送给存储服务器，以使接收到所述目标时间点的存储服务器按照所述目标时间点删除待删除数据，其中，所述待删除数据为存储时间在所述目标时间点之前的已存储数据。应用本发明专利技术实施例提供的数据删除方法，可以提高存储空间释放的效率。

【技术实现步骤摘要】
数据删除方法及分布式存储系统
本专利技术涉及数据处理
，特别是涉及一种数据删除方法及分布式存储系统。
技术介绍
分布式存储系统是将不同的服务器通过网络进行互联并协同工作，以向用户提供海量数据存储功能的系统。分布式存储系统主要包括：管理服务器和存储服务器，管理服务器用于存储的数据的索引信息，数据的索引信息包括数据的大小、存储时间以及存储位置等信息，在数据分块存储的情况下，数据的索引信息还包括该数据对应的数据的数据块的索引信息；示例性的，管理服务器可以为对象存储系统中的元数据服务器((MetadataServer，MDS)；存储服务器主要用于存储数据，示例性的，存储服务器可以为对象存储服务器(Object-basedStorageDevice，OSD)。由于分布式存储系统的存储空间不可能无限扩展，随着用户的存储需求越来越多，需要存储的数据越来越多，为了满足用户的存储需求，可以批量删除部分已经存储的数据，释放存储空间，使得分布式存储系统能够存储更多的新的数据。现有的数据删除方法为：管理服务器定期根据预设的存储周期和数据的存储时间，确定过期的数据；针对所确定的过期的数据中的每一数据，确定存储有该数据的存储服务器，并针对该数据的每一数据块生成一个删除指令；向所确定的存储服务器发送删除指令以使接收到删除指令的存储服务器删除该删除指令对应的数据块。管理服务器可以在向存储服务器发送删除指令后删除所确定的数据的索引信息。在上述方法中，管理服务器针对一个数据块生成一个删除指令，并通过网络协议将删除指令发送给存储服务器，通过网络协议进行指令的传输这种网络交互需要一定的时间，当存在大量的删除指令需要发送的情况下，会产生大量的网络交互，这些网络交互会消耗大量的时间，从而会导致批量删除数据时速度比较慢，存储空间释放的效率不高。
技术实现思路
本专利技术实施例的目的在于提供一种数据删除方法及分布式存储系统，以实现提高存储空间释放的效率。具体技术方案如下：第一方面，为了达到上述目的，本专利技术实施例提供了一种数据删除方法，应用于分布式存储系统中的管理服务器，所述方法包括：当确定需要批量删除数据时，根据预设的数据删除规则，确定目标时间点；将所确定的目标时间点发送给存储服务器，以使接收到所述目标时间点的存储服务器按照所述目标时间点删除待删除数据，其中，所述待删除数据为存储时间在所述目标时间点之前的已存储数据。可选的，所述方法还包括：定时根据各个存储服务器的系统时间，获得标准时间，其中，所述标准时间为对各个存储服务器的系统时间进行同步处理后的时间；所述存储时间为存储服务器存储数据时的标准时间；所述目标时间点为所述待删除数据的存储时间中最晚的存储时间。可选的，所述定时根据各个存储服务器的系统时间，获得标准时间，包括：定时获取各个存储服务器的系统时间；判断所获得的所有系统时间的个数是否大于预设数量；如果是，将除一个最大系统时间和一个最小系统时间之外的其他所有系统时间按照大小进行排序，将排序排在中间的系统时间，作为标准时间，或，计算除一个最大系统时间和一个最小系统时间之外的其他所有系统时间的平均值，作为标准时间；如果否，计算所获得的所有系统时间的平均值，作为标准时间。可选的，所述根据预设的数据删除规则，确定目标时间点，包括：根据预设的每个分区的数据删除规则，确定每个要删除数据的第一分区的目标时间点；在所述将所确定的目标时间点发送给存储服务器之前，所述方法还包括：获取每个第一分区的分区标识；所述将所确定的目标时间点发送给存储服务器，以使接收到所述目标时间点的存储服务器按照所述目标时间点删除待删除数据，包括：将每个第一分区的目标时间点及对应的分区标识发送给各个第一分区对应的存储服务器，以使接收到第一分区的目标时间点和对应的分区标识的存储服务器，按照第一分区的目标时间点和对应的分区标识，删除对应第一分区中所存储的待删除数据。可选的，所述根据预设的每个分区的数据删除规则，确定每个要删除数据的第一分区的目标时间点，包括：获得当前时间；针对每个第一分区，将所获得的当期时间与该第一分区预设的存储周期之差，作为该第一分区的目标时间点。可选的，所述根据预设的每个分区的数据删除规则，确定每个要删除数据的第一分区的目标时间点，包括：根据每一分区当前的存储量以及针对每一分区预设的存储阈值，确定每一分区的待删除存储量；针对待删除存储量不为零的每个第一分区，根据预先记录的该第一分区已存储数据的数据大小，按照预先记录的该第一分区已存储数据的存储时间的先后顺序，确定该第一分区的待删除数据，直至所确定的所有待删除数据的数据总量与该第一分区的待删除存储量之差在预设数据范围内；针对每个第一分区，从针对该第一分区所确定的所有待删除数据的存储时间中，选择最晚的存储时间，作为该第一分区的目标时间点。可选的，在根据预设的数据删除规则，确定目标时间点之后，所述方法还包括：删除在所述目标时间点之前存储的数据的索引信息。可选的，所述删除在所述目标时间点存储的数据的索引信息，包括：针对每一第一分区，删除针对该第一分区在该第一分区的目标时间点之前存储的数据的索引信息。第二方面，为达到上述目的，本专利技术实施例还提供了一种数据删除方法，应用于分布式存储系统中的存储服务器，所述方法包括：接收管理服务器发送的目标时间点，其中，所述目标时间点是所述管理服务器确定需要批量删除数据时，根据预设的数据删除规则确定的；根据目标时间点确定待删除数据；删除所确定的待删除数据。第三方面，为了达到上述目的，本专利技术实施例还提供了一种数据删除方法，应用于分布式存储系统，所述分布式存储系统包括管理服务器和存储服务器，所述方法包括：所述管理服务器当确定需要批量删除数据时，根据预设的数据删除规则，确定目标时间点；将所确定的目标时间点发送给所述存储服务器；所述存储服务器在将接收到目标时间点后，根据所述目标时间点，确定待删除数据；删除所确定的待删除数据，其中，所述待删除数据为存储时间在所述目标时间点之前的已存储数据。第四方面，为了达到上述目的，本专利技术实施例公开了一种分布式存储系统，所述系统包括管理服务器和存储服务器，所述管理服务器，用于当确定需要批量删除数据时，根据预设的数据删除规则，确定目标时间点；将所确定的目标时间点发送给所述存储服务器；所述存储服务器，用于在接收到所述目标时间点后，根据所述目标时间点，确定待删除数据；删除所确定的待删除数据，其中，所述待删除数据为存储时间在所述目标时间点之前的已存储数据。本专利技术实施例提供的数据删除方法及分布式存储系统，管理服务器可以向存储服务器发送目标时间点，使得存储服务器可以根据该目标时间点删除待存储数据，不需要针对每个数据块发送删除指令，减少了大量的网络信息交互，因此减少了管理服务器与存储服务器之间的网络交互而消耗的时间，提高存储空间释放的效率。当然，实施本专利技术的任一产品或方法必不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提本文档来自技高网...

【技术保护点】
1.一种数据删除方法，其特征在于，应用于分布式存储系统中的管理服务器，所述方法包括：当确定需要批量删除数据时，根据预设的数据删除规则，确定目标时间点；将所确定的目标时间点发送给存储服务器，以使接收到所述目标时间点的存储服务器按照所述目标时间点删除待删除数据，其中，所述待删除数据为存储时间在所述目标时间点之前的已存储数据。

【技术特征摘要】
1.一种数据删除方法，其特征在于，应用于分布式存储系统中的管理服务器，所述方法包括：当确定需要批量删除数据时，根据预设的数据删除规则，确定目标时间点；将所确定的目标时间点发送给存储服务器，以使接收到所述目标时间点的存储服务器按照所述目标时间点删除待删除数据，其中，所述待删除数据为存储时间在所述目标时间点之前的已存储数据。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：定时根据各个存储服务器的系统时间，获得标准时间，其中，所述标准时间为对各个存储服务器的系统时间进行同步处理后的时间；所述存储时间为存储服务器存储数据时的标准时间；所述目标时间点为所述待删除数据的存储时间中最晚的存储时间。3.根据权利要求2所述的方法，其特征在于，所述定时根据各个存储服务器的系统时间，获得标准时间，包括：定时获取各个存储服务器的系统时间；判断所获得的所有系统时间的个数是否大于预设数量；如果是，将除一个最大系统时间和一个最小系统时间之外的其他所有系统时间按照大小进行排序，将排序排在中间的系统时间，作为标准时间，或，计算除一个最大系统时间和一个最小系统时间之外的其他所有系统时间的平均值，作为标准时间；如果否，计算所获得的所有系统时间的平均值，作为标准时间。4.根据权利要求1所述的方法，其特征在于，所述根据预设的数据删除规则，确定目标时间点，包括：根据预设的每个分区的数据删除规则，确定每个要删除数据的第一分区的目标时间点；在所述将所确定的目标时间点发送给存储服务器之前，所述方法还包括：获取每个第一分区的分区标识；所述将所确定的目标时间点发送给存储服务器，以使接收到所述目标时间点的存储服务器按照所述目标时间删除待删除数据，包括：将每个第一分区的目标时间点及对应的分区标识发送给各个第一分区对应的存储服务器，以使接收到第一分区的目标时间点和对应的分区标识的存储服务器，按照第一分区的目标时间点和对应的分区标识，删除对应第一分区中所存储的待删除数据。5.根据权利要求4所述的方法，其特征在于，所述根据预设的每个分区的数据删除规则，确定每个要删除数据的第一分区的目标时间点，包括：获得当前时间；针对每个第一分区，将所获得的当期时间与该第一分区预设的存储周期之差，作为该第一分区的目标时间点。6.根据权利要求4所述的方法，其特征在于，所述根据预设的每个分区的数据删除规则，确定每个要删除数据的第一分区的目标时间点，包括：根据每一分区当前的存储量以及针对每一分区预设的存储阈值，确定每一分区的待删除存储量；针对待删除存储量不为零的每个第一分区，根据预先记录的该第一分区已存储数据的数据大小，按照预先记录的该第一分区已存储数据的存储时间的先后顺序，确定该第一分区的待删除数据，直至所确定的所有待删除数据的数据总量与该第一分区的待删除存储量之差在预设数据范围内；针对每个第一分区，从针对该第一分区所确定的所有待删除数据的存储时间中，选择最晚的存储时间，作为该第一分区的目标时间点。7.根据权利要求1所述的方法，其特征在于，在根据预设的数据删除规则，确定目标时间点之后，所述方法还包括：删除在所述目标时间点之前存储的数据的索引信息。8.根据权利要求7所述的方法，其特征在于，所述删除在所述目标时间点存储的数据的索引信息，包括：针对每一第一分区，删除针对该第一分区在该第一分区的目标时间点之前存储的数据的索引信息。9.一种数据删除方法，其特征在于，应用于分布式存储系统中的存储服务器，所述方法包括：接收管理服务器发送的目标时间点，其中，所述目标时间点是所述管理服务器确定需要批量删除数据时，根据预设的数据删除规则确定的；根据所述目标时间点，确定待删除数据；删除所确定的待删除数据。10.根据权利要求9所述的方法，其特征在于，在接收管理服务器发送的目标时间点之前，所述方法还包括：接收所述管理器发送的第一分区的分区标识；接收管理服务器发送的目标时间点，包括：接收管理服务器发送的第一分区的目标时间点；所述根据目标时间点确定待删除数据的步骤，包括：针对每一第一分区，根据该第一分区的分区标识判断所述存储服务器是否存储有该第一分区对应的数据；如果是，则将该第一分区在该第一分区的目标时间点之前已存储的数据，确定为该第一分区的待删除数据；所述删除所确定的待删除数据的步骤，包括：删除所确定的每一第一分区的待删除数据。11.根据权利要求9所述的方法，其特征在于，所述方法还包括：定时向管理服务器发送所述存储服务器自身的系统时间，以使所述管理服务器定时根据各个存储服务器的系统时间，获得标准时间，其中，所述标准时间为对各个存储服务器的系统时间进行同步处理后的时间。12.一种数据删除方法，其特征在于，应用于分布式存储系统，所述分布式存储系统包括管理服务器和存储服务器，所述方法包括：所述管理服务器当确定需要批量删除数据时，根据预设的数据删除规则，确定目标时间点；将所确定的目标时间点发送给所述存储服务器；所述存储服务器在将接收到目标时间点后，根据所述目标时间点，确定待删除数据；删除所确定的待删除数据，其中，所述待删除数据为存储时间在所述目标时间点之前的已存储数据。13.根据权利要求12所述的方法，其特征在于，所述存储服务器定时向所述管理服务器发送所述存储服务器自身的系统时间；所述管理服务器定时根据各个存储服务器的系统时间，获得标准时间，其中，所述标准时间为对各个存储服务器的系统时间进行同步处理后的时间；所述存储时间为存储服务器存储数据时的标准时间；所述目标时间点为所述待删除数据的存储时间中最晚的存储时间。14.根据权利要求13所述的方法，其特征在于，所述管理服务器获得对各个存储服务器的系统时间进行同步处理后的时间，作为标准时间，包括：定时获取各个存储服务器的系统时间；判断所获得的所有系统时间的个数是否大于预设数量；如果是，将除一个最大系统时间和一个最小系统时间之外的其他所有系统时间按照大小进行排序，将排序排在中间的系统...

【专利技术属性】
技术研发人员：黄华东，夏伟强，王伟，林起芊，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江,33