确定数据丢失的方法技术

本发明专利技术涉及存储技术领域，公开了确定数据丢失的方法

【技术实现步骤摘要】
确定数据丢失的方法、装置、设备及存储介质


[0001]本专利技术涉及存储
，具体涉及确定数据丢失的方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]在存储
，在数据量较大的情况下，可以通过分布式存储系统对数据进行存储
。
为了数据安全考虑，分布式存储系统会将同一个数据存储在同一存储设备集合中的不同存储设备中
。
但是，在写入数据时，可能会出现有部分存储设备处于工作状态，部分存储设备处于宕机状态
。
此时，数据只能被写入处于工作状态的存储设备中
。
处于宕机状态的存储设备可以在恢复工作状态后与其他已经写入数据且处于工作状态下的存储设备进行数据同步过程，使得最终存储的数据保持一致
。
在实际应用中，存储设备可能出现硬件损坏的情况，一直处于宕机状态，无法恢复到工作状态，此时，技术人员需要对其进踢盘操作，也即将该存储设备从存储集群中进行删除，不进行使用
。
[0003]但是，相关技术无法确定对某存储设备进行删除是否会造成数据丢失
。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种确定数据丢失的方法
、
装置
、
设备及存储介质，以解决在删除某个存储设备确定是否会造成数据丢失的问题
。
[0005]第一方面，本专利技术提供了一种确定数据丢失的方法，所述方法应用于存储集群中的任一存储节点，所述方法包括：
[0006]获取待处理的存储设备集合，其中，每一个所述存储设备集合均位于一个存储节点上；
[0007]根据所述存储设备集合，获取与所述存储设备集合对应的集合信息修改记录；
[0008]从所述集合信息修改记录中，读取所述存储设备集合中存储设备成员的成员信息，所述存储设备集合包括多个存储设备成员，且多个所述存储设备成员中包括至少一个目标存储设备；
[0009]分别从存储设备集合中除所述目标存储设备之外的至少一个存储设备成员上读取与自身对应的数据修改记录；
[0010]根据所述集合信息修改记录，以及至少一个所述存储设备成员上读取的数据修改记录，确定是否存在丢失数据
。
[0011]这样，通过存储节点中记录的集合信息修改记录和除目标存储设备中记录的数据修改记录，可以确定其他存储设备上是否存储有目标存储设备上存储的数据，可以确定对目标存储设备进行删除是否会导致数据丢失
。
[0012]在一种可选的实施方式中，所述根据所述集合信息修改记录，以及至少一个所述存储设备成员上读取的数据修改记录，确定是否存在丢失数据，包括：
[0013]将所述集合信息修改记录与至少一个所述存储设备成员上读取的数据修改记录
进行比较，确定是否存在存储有最新写入数据的目标成员；
[0014]当所述存储设备集合为副本池类型，且确定存在所述目标成员时，则不存在所述丢失数据；或者，当所述存储设备集合为副本池类型，且确定不存在所述目标成员时，则存在所述丢失数据
。
[0015]这样，通过对存储设备集合的集合信息修改记录和存储设备成员的数据修改记录进行比较，就可以确定出是否有成员存储了最新写入的数据
。
并且，根据存储设备集合类型的不同设置相应的条件，以判断是否存在丢失数据，可以使得判断结果更加准确
。
[0016]在一种可选的实施方式中，当所述存储设备集合为纠删池类型时，所述方法还包括：
[0017]统计所述目标成员的数量，其中，不同目标成员中存储的最新写入的数据不同；
[0018]当所述目标成员的数量大于或者等于预设阈值时，确定不存在所述丢失数据；
[0019]或者，当所述目标成员的数量小于所述预设阈值时，确定存在所述丢失数据，其中，所述预设阈值大于
2。
[0020]这样，根据存储设备集合类型的不同设置相应的条件，以判断是否存在丢失数据，可以使得判断结果更加准确
。
[0021]在一种可选的实施方式中，所述集合信息修改记录和所述数据修改记录中均包括至少一条修改日志，且每一条所述修改日志均配置有相应的日志序列号，所述将所述集合信息修改记录与至少一个所述存储设备成员上读取的数据修改记录进行比较，确定是否存在存储有最新写入数据的目标成员，包括：
[0022]当从至少一个所述存储设备成员中的一个或多个存储设备成员读取的数据修改记录中的日志序列号中存在与所述集合信息修改记录中最新修改日志的日志序列号相一致的序列号时，确定一个或多个存储设备成员为所述目标成员
。
[0023]这样，通过日志序列号进行比较，而非对集合修改信息和数据修改记录进行的所有内容进行比较，可以使得判断过程更加高效
。
[0024]在一种可选的实施方式中，当根据所述集合信息修改记录，以及至少一个所述存储设备成员上读取的数据修改记录，确定存在丢失数据后，所述方法还包括：
[0025]将所述集合信息修改记录中的数据的标识信息与至少一个所述存储设备成员上读取的数据修改记录中的数据的标识信息进行对比，得到与所述丢失数据对应的标识信息
。
[0026]这样，通过数据的标识信息进行比较，而非对集合修改信息和数据修改记录进行的所有内容进行比较，可以使得分析过程更加高效
。
[0027]在一种可选的实施方式中，当根据所述集合信息修改记录，以及至少一个所述存储设备成员上读取的数据修改记录，确定不存在丢失数据后，所述方法还包括：
[0028]根据所述存储设备成员上读取的数据修改记录，以及所述目标成员上存储的数据，对所述存储设备集合中除所述目标成员外的其他存储设备成员进行数据同步
。
[0029]这样，在判断出删除目标存储设备不会丢失数据后，可以将目标成员上存储的数据同步到其他存储设备成员上，可以使得存储设备集合中的所有成员存储的数据具有一致性
。
[0030]在一种可选的实施方式中，所述根据所述存储设备成员上读取的数据修改记录
、
所述目标成员上存储的数据修改记录，以及所述目标成员上存储的数据，对所述存储设备集合中除所述目标成员外的其他存储设备成员进行数据同步，包括：
[0031]将所述目标成员的数据修改记录中的日志序列号与其他存储设备成员的数据修改记录中的日志序列号不一致的序列号，确定为目标序列号；
[0032]从所述目标成员的数据修改记录中读取与所述目标序列号对应数据的标识信息，确定为目标标识信息；
[0033]根据所述目标标识信息，从所述目标成员上读取目标数据，并将所述目标数据同步到所述其他存储设备成员上
。
[0034]这样，通过目标成员和其他存储设备成员的日志序列号进行比较，可以较快确定出目标标识信息，进一步，可以提高数据同步的效率
。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种确定数据丢失的方法，其特征在于，所述方法应用于存储集群中的任一存储节点，所述方法包括：获取待处理的存储设备集合，其中，每一个所述存储设备集合均位于一个存储节点上；根据所述存储设备集合，获取与所述存储设备集合对应的集合信息修改记录；从所述集合信息修改记录中，读取所述存储设备集合中存储设备成员的成员信息，所述存储设备集合包括多个存储设备成员，且多个所述存储设备成员中包括至少一个目标存储设备；分别从存储设备集合中除所述目标存储设备之外的至少一个存储设备成员上读取与自身对应的数据修改记录；根据所述集合信息修改记录，以及至少一个所述存储设备成员上读取的数据修改记录，确定是否存在丢失数据
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述集合信息修改记录，以及至少一个所述存储设备成员上读取的数据修改记录，确定是否存在丢失数据，包括：将所述集合信息修改记录与至少一个所述存储设备成员上读取的数据修改记录进行比较，确定是否存在存储有最新写入数据的目标成员；当所述存储设备集合为副本池类型，且确定存在所述目标成员时，则不存在所述丢失数据；或者，当所述存储设备集合为副本池类型，且确定不存在所述目标成员时，则存在所述丢失数据
。3.
根据权利要求2所述的方法，其特征在于，当所述存储设备集合为纠删池类型时，所述方法还包括：统计所述目标成员的数量，其中，不同目标成员中存储的最新写入的数据不同；当所述目标成员的数量大于或者等于预设阈值时，确定不存在所述丢失数据；或者，当所述目标成员的数量小于所述预设阈值时，确定存在所述丢失数据，其中，所述预设阈值大于
2。4.
根据权利要求2所述的方法，其特征在于，所述集合信息修改记录和所述数据修改记录中均包括至少一条修改日志，且每一条所述修改日志均配置有相应的日志序列号，所述将所述集合信息修改记录与至少一个所述存储设备成员上读取的数据修改记录进行比较，确定是否存在存储有最新写入数据的目标成员，包括：当从至少一个所述存储设备成员中的一个或多个存储设备成员读取的数据修改记录中的日志序列号中存在与所述集合信息修改记录中最新修改日志的日志序列号相一致的序列号时，确定一个或多个存储设备成员为所述目标成员
。5.
根据权利要求1‑4任一项所述的方法，其特征在于，当根据所述集合信息修改记录，以及至少一个所述存储设备成员上读取的数据修改记录，确定存在丢失数据后，所述方法还包括：将所述集合信息修改记录...

【专利技术属性】
技术研发人员：张新亮，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：