一种确定分布式存储系统中的数据回滚时段的方法技术方案

本申请涉及数据处理领域，涉及一种确定分布式存储系统中的数据回滚时段的方法、装置、机器可读介质和系统，方法包括：周期性地监控系统的持久化操作并生成监控记录，系统包括多个节点，监控记录包括系统中执行持久化操作的主节点的节点名、持久化操作的完成时间和主节点的当选时间，当选时间用于记录节点当选主节点的时间；比较监控时间上相邻的两条监控记录中的节点名；获取相邻的两条监控记录中监控时间较晚的监控记录中的监控时间和监控时间较早的监控记录中的持久化操作的完成时间之间的时间段，作为数据回滚时段或者当选时间和持久化操作的完成时间之间的时间段，作为数据回滚时段。本方法能够准确地得出数据丢失的时间段。

A method to determine the time period of data rollback in distributed storage system

【技术实现步骤摘要】
一种确定分布式存储系统中的数据回滚时段的方法
本申请涉及数据处理领域，特别涉及一种确定分布式存储系统中的数据回滚时段的方法、装置、机器可读介质和系统。
技术介绍
随着云计算、大数据的快速发展，数据呈现爆炸式增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，已经无法满足信息爆炸时代指数倍增长的数据的存储需求，分布式存储系统由此产生。分布式存储系统为基于客户端/服务器模式的存储系统管理的物理存储资源，通过计算机网络与节点相连，可以有效解决数据的存储和管理难题。将固定于某个地点的某个存储系统，扩展到任意多各地点/多个存储系统，众多的节点组成一个存储系统网络。每个节点可以分布在不同地点，通过网络进行节点间的通信和数据传输。用户在使用分布式存储系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点获取的，只需要像使用本地文件系统一样管理和存储系统中的数据。但是，分布式存储系统在发生数据回滚时，一般只是将丢失的数据做一份备份，以及触发告警，等待人工处理。但是人工处理很难及时响应，并且不容易确定数据丢失的准确时间段。
技术实现思路
本申请实施例提供了一种确定分布式存储系统中的数据回滚时段的方法，包括：周期性地监控系统的持久化操作并生成监控记录，系统包括多个节点，监控记录包括系统中执行持久化操作的主节点的节点名、持久化操作的完成时间和主节点的当选时间，当选时间用于记录节点当选主节点的时间；比较监控时间上相邻的两条监控记录中的节点名；在相邻的两条监控记录中的节点名不同的情况下，获取相邻的两条监控记录中监控时间较晚的监控记录中的监控时间和监控时间较早的监控记录中的持久化操作的完成时间之间的时间段，作为数据回滚时段；在相邻的两条监控记录中的节点名相同且监控记录的当选时间不相同的情况下，获取相邻的两条监控记录中监控时间较晚的监控记录中的当选时间和监控时间较早的监控记录中的持久化操作的完成时间之间的时间段，作为数据回滚时段。可选地，持久化操作的完成时间为系统中的各个节点的持久化操作的完成时间中的最小值。可选地，持久化操作的完成时间为系统中的各个节点的持久化操作的完成时间中的中位数。可选地，多个节点包括一个主节点和至少一个从节点，并且在主节点故障的情况下，从节点中的一个转换为新的主节点。可选地，还包括：在主节点故障的情况下，从从节点中选择持久化操作的完成时间最大的从节点作为新的主节点。可选地，还包括：基于可调节的时间阈值周期性地监控系统的持久化操作，时间阈值的间隔被配置为以分或者以秒为单位中的一种。本申请实施例还提供了一种确定分布式存储系统中的数据回滚时段的装置，包括：监控模块，监控模块用于周期性地监控系统的持久化操作并生成监控记录，系统包括多个节点，监控记录包括系统中执行持久化操作的主节点的节点名、持久化操作的完成时间和监控时间和所述主节点的当选时间，所述当选时间用于记录所述节点当选所述主节点的时间；比较模块，比较模块用于比较监控时间上相邻的两条监控记录中的节点名；获取模块，获取模块用于，在相邻的两条监控记录中的节点名不同的情况下，获取相邻的两条监控记录中监控时间较晚的监控记录中的监控时间和监控时间较早的监控记录中的持久化操作的完成时间之间的时间段，作为数据回滚时段；获取模块还用于，在相邻的两条监控记录中的节点名相同且监控记录的当选时间不相同的情况下，获取相邻的两条监控记录中监控时间较晚的监控记录中的当选时间和监控时间较早的监控记录中的持久化操作的完成时间之间的时间段，作为数据回滚时段。可选地，还包括：配置模块，配置模块用于配置持久化操作的完成时间为系统中的各个节点的持久化操作的完成时间中的最小值。可选地，配置模块还用于配置持久化操作的完成时间为系统中的各个节点的持久化操作的完成时间中的中位数。可选地，配置模块还用于配置多个节点为一个主节点和至少一个从节点，并且在主节点故障的情况下，从节点中的一个转换为新的主节点。可选地，配置模块还用于在主节点故障的情况下，从从节点中选择持久化操作的完成时间最大的从节点作为新的主节点。可选地，配置模块还用于配置基于可调节的时间阈值周期性地监控系统的持久化操作，时间阈值的间隔被配置为以分或者以秒为单位中的一种。本申请还提供了一种机器可读介质，机器可读介质上存储有指令，该指令在机器上执行时使机器执行上述确定分布式存储系统中的数据回滚时段的方法。本申请实施例还提供了一种系统，包括：存储器，用于存储由系统的一个或多个处理器执行的指令，以及处理器，是系统的处理器之一，用于执行上述的确定分布式存储系统中的数据回滚时段的方法。本专利技术还提供一种确定分布式存储系统中的数据回滚时段的方法，装置，机器可读介质和系统，无需人工介入，可以自动发现数据回滚情况，并且准确地得出数据丢失的时间段。这对于进一步的数据丢失处理非常有用。附图说明图1根据本申请的一些实施例，示出了一种确定分布式存储系统中的数据回滚时段的方法的流程示意图。图2根据本申请的一些实施例，示出了一种确定分布式存储系统中的数据回滚时段的方法的结构示意图。图3根据本申请的一些实施例，示出了一种确定分布式存储系统中的数据回滚时段的方法的结构示意图。图4根据本申请的一些实施例，示出了一种确定分布式存储系统中的数据回滚时段的装置的结构示意图。图5根据本申请的一些实施例，示出了一种系统的框图。图6根据本申请一些实施例，示出了一种片上系统(SoC)的框图。具体实施例可以理解，如本文所使用的，术语“模块”可以指代或者包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或群组)和/或存储器、组合逻辑电路、和/或提供所描述的功能的其他适当硬件组件，或者可以作为这些硬件组件的一部分。可以理解，在本申请各实施例中，处理器可以是微处理器、数字信号处理器、微控制器等，和/或其任何组合。根据另一个方面，所述处理器可以是单核处理器，多核处理器等，和/或其任何组合。下面将结合附图对本申请的实施例作进一步地详细描述。本专利技术的实施例中使用了持久化机制，该机制是将数据在持久状态和瞬时状态间转换的机制。通俗的讲，就是将瞬时数据，如缓存数据，持久化为持久数据。基于持久化机制所得到的持久数据可被永久保存的存储设备中，即使存储设备宕机，只要该持久数据未被损坏，该持久数据都不会丢失。根据本申请的一些实施例公开了一种确定分布式存储系统中的数据回滚时段的方法、装置、机器可读介质和系统。本专利技术的实施例所指出的节点是用于将输出数据进行持久化。例如，假设a节点是执行数据持久化的节点，那么在a节点执行完毕后，可以将该a点的数据进行持久化。通常，持久化数据可以保存在内存中，然后持久化至本文档来自技高网...

【技术保护点】
1.一种确定分布式存储系统中的数据回滚时段的方法，其特征在于，包括：/n周期性地监控所述系统的持久化操作并生成监控记录，所述系统包括多个节点，所述监控记录包括所述系统中执行持久化操作的主节点的节点名、所述持久化操作的完成时间、监控时间和所述主节点的当选时间，所述当选时间用于记录所述节点当选所述主节点的时间；/n比较所述监控时间上相邻的两条所述监控记录中的节点名；/n在相邻的两条所述监控记录中的节点名不同的情况下，获取相邻的两条所述监控记录中所述监控时间较晚的监控记录中的所述监控时间和所述监控时间较早的监控记录中的所述持久化操作的完成时间之间的时间段，作为所述数据回滚时段；/n在相邻的两条所述监控记录中的节点名相同且所述监控记录的当选时间不相同的情况下，获取相邻的两条所述监控记录中所述监控时间较晚的监控记录中的当选时间和所述监控时间较早的监控记录中的所述持久化操作的完成时间之间的时间段，作为所述数据回滚时段。/n

【技术特征摘要】
1.一种确定分布式存储系统中的数据回滚时段的方法，其特征在于，包括：
周期性地监控所述系统的持久化操作并生成监控记录，所述系统包括多个节点，所述监控记录包括所述系统中执行持久化操作的主节点的节点名、所述持久化操作的完成时间、监控时间和所述主节点的当选时间，所述当选时间用于记录所述节点当选所述主节点的时间；
比较所述监控时间上相邻的两条所述监控记录中的节点名；
在相邻的两条所述监控记录中的节点名不同的情况下，获取相邻的两条所述监控记录中所述监控时间较晚的监控记录中的所述监控时间和所述监控时间较早的监控记录中的所述持久化操作的完成时间之间的时间段，作为所述数据回滚时段；
在相邻的两条所述监控记录中的节点名相同且所述监控记录的当选时间不相同的情况下，获取相邻的两条所述监控记录中所述监控时间较晚的监控记录中的当选时间和所述监控时间较早的监控记录中的所述持久化操作的完成时间之间的时间段，作为所述数据回滚时段。


2.根据权利要求1所述的方法，其特征在于，还包括：
所述持久化操作的完成时间为所述系统中的各个所述节点的持久化操作的完成时间中的最小值。


3.根据权利要求2所述的方法，其特征在于，还包括：
所述持久化操作的完成时间为所述系统中的各个所述节点的持久化操作的完成时间中的中位数。


4.根据权利要求1所述的方法，其特征在于，还包括：
所述多个节点包括一个主节点和至少一个从节点，并且在所述主节点故障的情况下，所述从节点中的一个转换为新的主节点。


5.根据权利要求4所述的方法，其特征在于，还包括：
在所述主节点故障的情况下，从所述从节点中选择持久化操作的完成时间最大的所述从节点作为新的主节点。
<...

【专利技术属性】
技术研发人员：刘明伟，吴永军，江旭楷，陈萌辉，
申请(专利权)人：上海依图网络科技有限公司，
类型：发明
国别省市：上海;31