一种分布式存储进行快照的方法及相关装置制造方法及图纸

本发明专利技术实施例提供了一种分布式存储进行快照的方法及相关装置，在第一时刻开始对分布式存储的至少部分副本进行快照处理；在第二时刻完成快照处理，获得待确认快照，其中，第一时刻早于第二时刻；当第一请求组中各请求以及第二请求组中各请求均已成功处理时，将待确认快照确定为可用快照，其中，第一请求组中各请求为：在第一时刻处于处理中的对至少部分副本的写请求，第二请求组中各请求为：在第一时刻至第二时刻之间接收到的对至少部分副本的写请求。本发明专利技术进行快照处理时并未堵塞写请求，本发明专利技术通过监控快照开始时处于处理中的写请求以及进行快照处理过程中接收到的写请求，来保证副本的一致性，避免了由于未堵塞写请求带来的副本不一致的问题。

A method of snapshot in distributed storage and related devices

【技术实现步骤摘要】
一种分布式存储进行快照的方法及相关装置
本专利技术涉及分布式存储
，特别涉及一种分布式存储进行快照的方法及相关装置。
技术介绍
快照是对文件的一个完全可用拷贝，通过快照可以在文件出现问题时进行回滚以恢复数据。现有的快照技术需要首先暂停接收新的写请求，同时等待处于处理中的写请求全部成功处理后再开始进行快照处理，在快照处理完成后，再重新开始接收新的写请求。分布式存储通过在不同的节点上保存同一份数据的多个副本来确保数据的可靠性和可用性。由于分布式存储中存储的数据较多，因此接收的写请求也很多。分布式存储如果采用现有的快照技术，则每次进行快照处理时，都需要暂停接收新的写请求，同时等待处于处理中的写请求全部成功处理。这种情况下，将会阻塞大量的写请求同时带来较高的写延迟。
技术实现思路
有鉴于此，本专利技术提供一种分布式存储进行快照的方法及相关装置，以在不阻塞写请求的前提下对分布式存储进行快照，方案如下：一种分布式存储进行快照的方法，所述方法包括：在第一时刻开始对分布式存储的至少部分副本进行快照处理；在第二时刻完成所述快照处理，获得待确认快照，其中，所述第一时刻早于所述第二时刻；当第一请求组中各请求以及第二请求组中各请求均已成功处理时，将所述待确认快照确定为可用快照，其中，所述第一请求组中各请求为：在所述第一时刻处于处理中的对所述至少部分副本的写请求，所述第二请求组中各请求为：在所述第一时刻至所述第二时刻之间接收到的对所述至少部分副本的写请求。可选的，还包括：为所述第一请求组中各请求及所述第二请求组中各请求添加预设标记；所述当第一请求组中各请求以及第二请求组中各请求均已成功处理时，将所述待确认快照确定为可用快照，包括：当所有添加有预设标记的各请求均已成功处理时，将所述待确认快照确定为可用快照。可选的，所述为所述第一请求组中各请求及所述第二请求组中各请求添加预设标记，包括：为在第三时刻至第四时刻之间接收到的对所述至少部分副本的写请求添加预设标记，为在所述第三时刻处于处理中的对所述至少部分副本的写请求添加预设标记，其中，所述第三时刻早于所述第一时刻，所述第四时刻晚于所述第二时刻。可选的，所述当第一请求组中各请求以及第二请求组中各请求均已成功处理时，将所述待确认快照确定为可用快照，包括：当在所述第一时刻后的预设时长内，第一请求组中各请求以及第二请求组中各请求均已成功处理时，将所述待确认快照确定为可用快照。可选的，所述方法还包括：当在所述第一时刻后的预设时长内，第一请求组中至少一个请求或第二请求组中至少一个请求未成功处理时，将所述待确认快照确定为不可用快照。可选的，还包括：确定需进行一致性处理的第一文件的目标副本；确定所述目标副本与所述第一文件的除所述目标副本外的其他副本的、最新的一致性快照，所述一致性快照至少包括：所述目标副本的第一可用快照和所述可用副本的第二可用快照，所述可用副本为所述其他副本中的一个副本，所述第一可用快照的获得时刻与所述第二可用快照的获得时刻匹配；将所述目标副本的最新数据与所述第一可用快照进行对比，确定第一差异数据块组；将所述第一可用副本的最新数据与所述第二可用快照进行对比，确定第二差异数据快组；将所述第一差异数据块组与所述第二差异数据块组的并集确定为第三差异数据块组；将所述第一可用副本的最新数据中的、所述第三差异数据块组中各数据块的数据覆盖所述目标副本的最新数据中的、所述第三差异数据块组中各数据块的数据。一种分布式存储进行快照的装置，所述装置包括：快照单元、快照获得单元和第一快照确定单元，所述快照单元，用于在第一时刻开始对分布式存储的至少部分副本进行快照处理；所述快照获得单元，用于在第二时刻完成所述快照处理，获得待确认快照，其中，所述第一时刻早于所述第二时刻；所述第一快照确定单元，用于当第一请求组中各请求以及第二请求组中各请求均已成功处理时，将所述待确认快照确定为可用快照，其中，所述第一请求组中各请求为：在所述第一时刻处于处理中的对所述至少部分副本的写请求，所述第二请求组中各请求为：在所述第一时刻至所述第二时刻之间接收到的对所述至少部分副本的写请求。可选的，还包括：目标副本确定单元、一致性快照确定单元、第一数据块确定单元、第二数据块确定单元、第三数据块确定单元和覆盖单元，所述目标副本确定单元，用于确定需进行一致性处理的第一文件的目标副本；所述一致性快照确定单元，用于确定所述目标副本与所述第一文件的除所述目标副本外的其他副本的、最新的一致性快照，所述一致性快照至少包括：所述目标副本的第一可用快照和所述可用副本的第二可用快照，所述可用副本为所述其他副本中的一个副本，所述第一可用快照的获得时刻与所述第二可用快照的获得时刻匹配；所述第一数据块确定单元，用于将所述目标副本的最新数据与所述第一可用快照进行对比，确定第一差异数据块组；所述第二数据块确定单元，用于将所述第一可用副本的最新数据与所述第二可用快照进行对比，确定第二差异数据快组；所述第三数据块确定单元，用于将所述第一差异数据块组与所述第二差异数据块组的并集确定为第三差异数据块组；所述覆盖单元，用于将所述第一可用副本的最新数据中的、所述第三差异数据块组中各数据块的数据覆盖所述目标副本的最新数据中的、所述第三差异数据块组中各数据块的数据。一种存储介质，其上存储有程序，所述程序被处理器执行时实现上述的任一种分布式存储进行快照的方法。一种设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述的任一种分布式存储进行快照的方法。本专利技术实施例提供了一种分布式存储进行快照的方法及相关装置，在第一时刻开始对分布式存储的至少部分副本进行快照处理；在第二时刻完成所述快照处理，获得待确认快照，其中，所述第一时刻早于所述第二时刻；当第一请求组中各请求以及第二请求组中各请求均已成功处理时，将所述待确认快照确定为可用快照，其中，所述第一请求组中各请求为：在所述第一时刻处于处理中的对所述至少部分副本的写请求，所述第二请求组中各请求为：在所述第一时刻至所述第二时刻之间接收到的对所述至少部分副本的写请求。可见，本专利技术进行快照处理时并未堵塞写请求，同时，本专利技术通过监控快照开始时处于处理中的写请求以及进行快照处理过程中接收到的写请求，来保证副本的一致性，避免了由于未堵塞写请求带来的副本不一致的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。图1示出了本专利技术实施例提供的一种分布式存储进行快照的方法的流程图；图2示出了本专利技术实施例提供的另一种分布式存储进行快照的方法的流程图；图3示出了本发本文档来自技高网...

【技术保护点】
1.一种分布式存储进行快照的方法，其特征在于，所述方法包括：/n在第一时刻开始对分布式存储的至少部分副本进行快照处理；/n在第二时刻完成所述快照处理，获得待确认快照，其中，所述第一时刻早于所述第二时刻；/n当第一请求组中各请求以及第二请求组中各请求均已成功处理时，将所述待确认快照确定为可用快照，其中，所述第一请求组中各请求为：在所述第一时刻处于处理中的对所述至少部分副本的写请求，所述第二请求组中各请求为：在所述第一时刻至所述第二时刻之间接收到的对所述至少部分副本的写请求。/n

【技术特征摘要】
1.一种分布式存储进行快照的方法，其特征在于，所述方法包括：
在第一时刻开始对分布式存储的至少部分副本进行快照处理；
在第二时刻完成所述快照处理，获得待确认快照，其中，所述第一时刻早于所述第二时刻；
当第一请求组中各请求以及第二请求组中各请求均已成功处理时，将所述待确认快照确定为可用快照，其中，所述第一请求组中各请求为：在所述第一时刻处于处理中的对所述至少部分副本的写请求，所述第二请求组中各请求为：在所述第一时刻至所述第二时刻之间接收到的对所述至少部分副本的写请求。


2.根据权利要求1所述的方法，其特征在于，还包括：
为所述第一请求组中各请求及所述第二请求组中各请求添加预设标记；
所述当第一请求组中各请求以及第二请求组中各请求均已成功处理时，将所述待确认快照确定为可用快照，包括：
当所有添加有预设标记的各请求均已成功处理时，将所述待确认快照确定为可用快照。


3.根据权利要求2所述的方法，其特征在于，所述为所述第一请求组中各请求及所述第二请求组中各请求添加预设标记，包括：
为在第三时刻至第四时刻之间接收到的对所述至少部分副本的写请求添加预设标记，为在所述第三时刻处于处理中的对所述至少部分副本的写请求添加预设标记，其中，所述第三时刻早于所述第一时刻，所述第四时刻晚于所述第二时刻。


4.根据权利要求1所述的方法，其特征在于，所述当第一请求组中各请求以及第二请求组中各请求均已成功处理时，将所述待确认快照确定为可用快照，包括：
当在所述第一时刻后的预设时长内，第一请求组中各请求以及第二请求组中各请求均已成功处理时，将所述待确认快照确定为可用快照。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
当在所述第一时刻后的预设时长内，第一请求组中至少一个请求或第二请求组中至少一个请求未成功处理时，将所述待确认快照确定为不可用快照。


6.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：
确定需进行一致性处理的第一文件的目标副本；
确定所述目标副本与所述第一文件的除所述目标副本外的其他副本的、最新的一致性快照，所述一致性快照至少包括：所述目标副本的第一可用快照和所述可用副本的第二可用快照，所述可用副本为所述其他副本中的一个副本，所述第一可用快照的获得时刻与所述第二可用快照的获得时刻匹配；
将所述目标副本的最新数据与所述第一可用快照进行对比，确定第一差异数据块组；
将所述第一可用副本的最新数据与所述第二可用快照进行对比，确定第二差异数据快组；
将所述第一差异数据块组与所述...

【专利技术属性】
技术研发人员：张欢，
申请(专利权)人：无锡华云数据技术服务有限公司，
类型：发明
国别省市：江苏;32