在数据同步系统中实现集群容错的方法及装置制造方法及图纸

本说明书提供一种在数据同步系统中实现集群容错的方法及装置，数据同步系统包括控制集群、监听集群和共享中心；监听集群包括至少一个监听节点，监听节点用于监听源数据库产生的变化数据以同步至目标数据库；共享中心用于将至少一个监听节点的监听节点信息在控制集群和监听集群中共享，监听节点信息包括监听节点的节点状态和配置信息；所述方法包括：控制集群中的控制节点获取至少一个监听节点的监听节点信息，并将相应节点状态为异常的监听节点确定为故障节点；控制节点选取目标节点，并指示目标节点：获取故障节点的监听节点信息，并根据故障节点对应的配置信息接替故障节点进行监听；目标节点为至少一个监听节点中区别于故障节点的监听节点。于故障节点的监听节点。于故障节点的监听节点。

【技术实现步骤摘要】
在数据同步系统中实现集群容错的方法及装置


[0001]本说明书涉及数据同步领域，尤其涉及一种在数据同步系统中实现集群容错的方法及装置。

技术介绍

[0002]在设备运行业务期间，通常会涉及到不同数据库之间同步数据的过程，即将源数据库中的变化数据同步至目标数据库中，以对应对不同的业务场景。
[0003]目前，为了实现不同数据库之间的数据同步，处于源数据库与目标数据之间的数据同步系统需要监听并捕获数据源的数据变化，并将变化数据同步至目标数据库。然而，在数据同步系统中的某一节点出现故障的情况下，整个数据同步进程将受到严重影响。

技术实现思路

[0004]为克服相关技术中存在的问题，本说明书提供了一种在数据同步系统中实现集群容错的方法及装置。
[0005]根据本说明书实施例的第一方面，提供一种在数据同步系统中实现集群容错的方法，所述数据同步系统包括控制集群、监听集群和共享中心；所述监听集群包括至少一个监听节点，所述监听节点用于监听源数据库产生的变化数据以同步至目标数据库；所述共享中心用于将所述至少一个监听节点的监听节点信息在所述控制集群和所述监听集群中共享，所述监听节点信息包括相应监听节点的节点状态和配置信息；所述方法包括：
[0006]所述控制集群中的控制节点获取所述至少一个监听节点的监听节点信息，并将相应节点状态为异常的监听节点确定为故障节点；
[0007]所述控制节点选取目标节点，并指示所述目标节点：获取所述故障节点的监听节点信息，并根据所述故障节点对应的配置信息接替所述故障节点进行监听；其中，所述目标节点为所述至少一个监听节点中区别于所述故障节点的监听节点。
[0008]根据本说明书实施例的第二方面，提供一种在数据同步系统中实现集群容错的装置，所述数据同步系统包括控制集群、监听集群和共享中心；所述监听集群包括至少一个监听节点，所述监听节点用于监听源数据库产生的变化数据以同步至目标数据库；所述共享中心用于将所述至少一个监听节点的监听节点信息在所述控制集群和所述监听集群中共享，所述监听节点信息包括相应监听节点的节点状态和配置信息；所述装置包括：
[0009]第一获取单元，用于所述控制集群中的控制节点获取所述至少一个监听节点的监听节点信息，并将相应节点状态为异常的监听节点确定为故障节点；
[0010]指示单元，用于所述控制节点选取目标节点，并指示所述目标节点：获取所述故障节点的监听节点信息，并根据所述故障节点对应的配置信息接替所述故障节点进行监听；其中，所述目标节点为所述至少一个监听节点中区别于所述故障节点的监听节点。
[0011]根据本说明书实施例的第三方面，提供一种电子设备，包括：
[0012]处理器；
[0013]用于存储处理器可执行指令的存储器；
[0014]其中，所述处理器通过运行所述可执行指令以实现如第一方面所述的方法。
[0015]根据本说明书实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
[0016]本说明书的实施例提供的技术方案可以包括以下有益效果：
[0017]本说明书实施例中，监听节点的监听节点信息通过共享中心在控制集群和监听集群中共享，使得控制节点可以获取监听节点信息，进而根据监听节点信息中包括的节点状态确定节点状态为异常的故障节点。进一步的，控制节点可以通过选取目标节点，并指示目标节点获取故障节点的配置信息，来控制目标节点接替故障节点进行监听，从而避免故障节点对数据同步过程造成影响，确保数据同步的连续性。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
[0020]图1是本说明书根据一示例性实施例示出的一种数据同步流程的示意图。
[0021]图2是本说明书根据一示例性实施例示出的一种在数据同步系统中实现集群容错的方法的系统架构图。
[0022]图3是本说明书根据一示例性实施例示出的一种在数据同步系统中实现集群容错的方法的流程图。
[0023]图4是本说明书根据一示例性实施例示出的一种监听节点容错的实现方法的示意图。
[0024]图5是本说明书根据一示例性实施例示出的一种控制节点容错的实现方法的示意图。
[0025]图6是本说明书根据一示例性实施例示出的一种变化数据的处理方法的示意图。
[0026]图7是本说明书根据一示例性实施例示出的一种分发队列的示意图。
[0027]图8是本说明书根据一示例性实施例示出的一种处理变化数据的示意图。
[0028]图9是本说明书实施例文件处理装置所在计算机设备的一种硬件结构图。
[0029]图10本说明书根据一示例性实施例示出的一种在数据同步系统中实现集群容错的装置的框图。
具体实施方式
[0030]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
[0031]在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包
括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0032]应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0033]接下来对本说明书实施例进行详细说明。
[0034]在对本说明书提供的一种在数据同步系统中实现集群容错的方法进行详细说明之前，这里先结合图1对数据同步的过程进行介绍。图1是本说明书根据一示例性实施例示出的一种数据同步流程的示意图，如图1所示，该示意图包括：数据源11、数据同步系统12以及目标存储引擎13。数据同步系统12可以对数据源11中产生的变化数据进行监听，获取该变化数据，并将该变化数据同步至目标存储引擎13中进行存储。该实施例中的数据同步系统监听并捕获数据源中产生的变化数据，以使数据源中的变化数据被同步至目标存储引擎中，从而实现了存储引擎中数据的实时更新。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在数据同步系统中实现集群容错的方法，其特征在于，所述数据同步系统包括控制集群、监听集群和共享中心；所述监听集群包括至少一个监听节点，所述监听节点用于监听源数据库产生的变化数据以同步至目标数据库；所述共享中心用于将所述至少一个监听节点的监听节点信息在所述控制集群和所述监听集群中共享，所述监听节点信息包括相应监听节点的节点状态和配置信息；所述方法包括：所述控制集群中的控制节点获取所述至少一个监听节点的监听节点信息，并将相应节点状态为异常的监听节点确定为故障节点；所述控制节点选取目标节点，并指示所述目标节点：获取所述故障节点的监听节点信息，并根据所述故障节点对应的配置信息接替所述故障节点进行监听；其中，所述目标节点为所述至少一个监听节点中区别于所述故障节点的监听节点。2.根据权利要求1所述的方法，其特征在于，所述配置信息包括源数据库信息，所述源数据库信息用于描述相应监听节点需要监听的源数据库；所述获取所述故障节点的监听节点信息，并根据所述故障节点对应的配置信息接替所述故障节点进行监听，包括：所述目标节点基于所述故障节点对应的源数据库信息确定所述故障节点需要监听的源数据库，并对所述故障节点需要监听的源数据库进行监听。3.根据权利要求1所述的方法，其特征在于，所述配置信息包括位点信息，所述位点信息记录有相应监听节点的监听进度；所述获取所述故障节点的监听节点信息，并根据所述故障节点对应的配置信息接替所述故障节点进行监听，包括：所述目标节点基于所述故障节点对应的位点信息确定接替监听的起始进度，并基于所述起始进度进行监听。4.根据权利要求1所述的方法，其特征在于，所述控制节点为所述控制集群中的主控制节点，所述控制集群还包括至少一个备控制节点，所述共享中心还用于将所述主控制节点和所述至少一个备控制节点的控制节点信息在所述控制集群内共享，所述控制节点信息包括对应的控制节点的节点状态和配置信息；所述方法还包括：所述至少一个备控制节点通过所述共享中心获取原有主控制节点的控制节点信息；在所述主控制节点的节点状态处于异常的情况下，所述至少一个备控制节点选举确定出新主控制节点，并由该新主控制节点基于所述原有主控制节点对应的配置信息接替所述原有主控制节点对所述监听集群进行控制。5.根据权利要求1所述的方法，其特征在于，所述数据同步系统还包括数据处理设备；所述监听源数据库产生的变化数据以同步至目标数据库，包括：所述监听节点监听源数据库产生的变化数据，并将所...

【专利技术属性】
技术研发人员：张华，
申请(专利权)人：上海羚数智能科技有限公司，
类型：发明
国别省市：