数据一致性管理方法、装置、电子设备及存储介质制造方法及图纸

本公开提出一种数据一致性管理方法、装置、电子设备及存储介质，该方法包括：确定多个分组，分组包括：至少部分节点；获取与分组对应的等待计数值；根据等待计数值，对节点的数据进行一致性管理。通过本公开，能够有效地保障分布式集群中数据的一致性，在有效地保障分布式集群中的数据一致性效果的同时，有效地提升分布式集群中数据的分布式处理效果。分布式集群中数据的分布式处理效果。分布式集群中数据的分布式处理效果。

【技术实现步骤摘要】
数据一致性管理方法、装置、电子设备及存储介质


[0001]本公开涉及分布式存储
，尤其涉及一种数据一致性管理方法、装置、电子设备及存储介质。

技术介绍

[0002]当前分布式存储
中，保证分散在多个节点上的同一份数据的多个副本之间的一致性是核心问题。常用的一致性方案有强一致性和最终一致性两种。强一致性因其实现难度和应用场景有限，普及性不如最终一致性。
[0003]相关技术中，需要建立额外的仲裁机制来保证多个节点上的同一份数据的多个副本之间的一致性。
[0004]这种方式下，分布式集群中数据的一致性效果不佳，影响分布式集群中数据的分布式处理效果，导致分布式集群的拓展应用效果不佳。

技术实现思路

[0005]本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006]为此，本公开的目的在于提出一种数据一致性管理方法、装置、电子设备及存储介质，能够有效地保障分布式集群中数据的一致性，在有效地保障分布式集群中的数据一致性效果的同时，有效地提升分布式集群中数据的分布式处理效果。
[0007]为达到上述目的，本公开第一方面实施例提出的数据一致性管理方法，包括：确定多个分组，分组包括：至少部分节点；获取与分组对应的等待计数值；根据等待计数值，对节点的数据进行一致性管理。
[0008]本公开第一方面实施例提出的数据一致性管理方法，通过确定多个分组，分组包括：至少部分节点，而后获取与分组对应的等待计数值，根据等待计数值，对节点的数据进行一致性管理，能够有效地保障分布式集群中数据的一致性，在有效地保障分布式集群中的数据一致性效果的同时，有效地提升分布式集群中数据的分布式处理效果。
[0009]为达到上述目的，本公开第二方面实施例提出的数据一致性管理装置，包括：第一确定模块，用于确定多个分组，分组包括：至少部分节点；获取模块，用于获取与分组对应的等待计数值；管理模块，用于根据等待计数值，对节点的数据进行一致性管理。
[0010]本公开第二方面实施例提出的数据一致性管理装置，通过确定多个分组，分组包括：至少部分节点，而后获取与分组对应的等待计数值，根据等待计数值，对节点的数据进行一致性管理，能够有效地保障分布式集群中数据的一致性，在有效地保障分布式集群中的数据一致性效果的同时，有效地提升分布式集群中数据的分布式处理效果。
[0011]根据本公开第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例的数据一致性管理方法。
[0012]根据本公开第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开第一方面实施例的数据一致性管理方法。
[0013]根据本公开第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开第一方面实施例的数据一致性管理方法。
[0014]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0015]本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0016]图1是本公开一实施例提出的数据一致性管理方法的流程示意图；
[0017]图2是本公开实施例中分组机制的模型图；
[0018]图3是本公开另一实施例提出的数据一致性管理方法的流程示意图；
[0019]图4是本公开另一实施例提出的数据一致性管理方法的流程示意图；
[0020]图5是本公开另一实施例提出的数据一致性管理方法的流程示意图；
[0021]图6是本公开另一实施例提出的数据一致性管理方法的流程示意图；
[0022]图7是本公开另一实施例提出的数据一致性管理方法的流程示意图；
[0023]图8是根据本公开一实施例提出的数据一致性管理装置的结构示意图；
[0024]图9是根据本公开另一实施例提出的数据一致性管理装置的结构示意图；
[0025]图10示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
[0026]下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
[0027]图1是本公开一实施例提出的数据一致性管理方法的流程示意图。
[0028]其中，需要说明的是，本实施例的数据一致性管理方法的执行主体为数据一致性管理装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
[0029]如图1所示，该数据一致性管理方法，包括：
[0030]S101：确定多个分组，分组包括：至少部分节点。
[0031]本公开实施例中的数据一致性管理方法应用于分布式集群，所述分布式集群包括多个节点，该节点可以是用于存储数据的节点，节点具体形式可以例如为软件的程序代码逻辑和/或硬件结构，节点具体例如被配置为分布式架构中的多个服务器中的任一个服务器节点，该节点中存储的数据可以例如为系统日志数据，或者是用于辅助日志数据发送和接收等的传输配置数据，对此不做限制。
[0032]其中，分布式集群可以例如为关系型数据库管理系统(My structured query language，MySQL)集群，当基于MySQL数据库集群提供应用功能时，该MySQL数据库集群可以对应前端的一个业务系统，此时，MySQL数据库集群中的各个数据库节点可以用于存储业务系统运行过程中产生的业务数据、业务流程配置数据等等，该数据库节点即可以被称为上述的节点，节点中存储的数据，可以例如是业务数据、业务流程配置数据等，对此不做限制。
[0033]本公开实施例中，可以预先采用一定的规则对分布式集群中的多个节点进行分组处理，例如，将部署在同一个机房的集群节点作为一组，或者将部署在相同地区的集群节点作为一组，或者，还可以采用其他任意可能的方式实现对分布式集群中的多个节点进行分组处理，以得到多个分组，以及各个分组中包括的多个节点。
[0034]本公开实施例中的确定多个分组，可以是确定针对该分布式集群预先配置的分组，例如，可以获取与该分布式集群对应的配置文件，从配置文件中解析出分组配置信息，根据分组配置信息确定分布式集群中的多个分组的标识，以及各个分组的标识所对应的一个或者多个节点的标识，该一个或者多个节点的标识所指示的集群节点，即可以是该分组的标识所指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据一致性管理方法，其特征在于，应用于分布式集群，所述分布式集群包括多个节点，所述方法包括：确定多个分组，所述分组包括：至少部分所述节点；获取与所述分组对应的等待计数值；根据所述等待计数值，对所述节点的数据进行一致性管理。2.如权利要求1所述的方法，其特征在于，其中，所述多个节点包括：主节点和从节点，在所述获取与所述分组对应的等待计数值后，还包括：根据所述主节点中的更新数据分别对各个所述从节点中的从实例数据进行更新，其中，所述从节点在接收到所述更新数据时，生成确认消息，并将所述确认消息反馈至所述主节点。3.如权利要求2所述的方法，其特征在于，在所述根据所述主节点中的更新数据分别对各个所述从节点中的从实例数据进行更新后，还包括：确定所述分组的参考数量，其中，所述参考数量是所述分组中已生成所述确认消息的节点的数量；所述根据所述等待计数值，对所述节点的数据进行一致性管理，包括：根据所述分组的参考数量和所述等待计数值，对所述节点的数据进行一致性管理。4.如权利要求3所述的方法，其特征在于，所述根据所述分组的参考数量和所述等待计数值，对所述节点的数据进行一致性管理，包括：如果所述分组的参考数量达到所述分组的等待计数值，则确定所述分组中的数据满足一致性条件；如果所述分组的参考数量未达到所述分组的等待计数值，则持续地监听所述分组内节点是否接收到所述更新数据。5.如权利要求4所述的方法，其特征在于，所述根据所述分组的参考数量和所述等待计数值，对所述节点的数据进行一致性管理，还包括：如果多个所述分组中的数据均满足所述一致性条件，则确定所述分布式集群中的数据满足所述一致性条件；如果任一所述分组中的数据不满足所述一致性条件，则确定所述分布式集群中的数据不满足所述一致性条件。6.如权利要求2所述的方法，其特征在于，所述确定多个分组，包括：在开启分组规则时，执行所述确定多个分组的步骤。7.如权利要求6所述的方法，其特征在于，所述根据所述等待计数值，对所述节点的数据进行一致性管理，包括：如果所述主实例数据不是第一遗留数据，则根据所述等待计数值，对所述从节点的数据进行一致性管理，其中，所述第一遗留数据是开启所述分组规则前所述主节点中尚未符合所述一致性条件的数据；如果所述主实例数据是所述第一遗留数据，则采用所述分布式集群中的主从复制机制对所述从节点的数据进行一致性管理。8.如权利要求6所述的方法，其特征在于，所述根据所述等待计数值，对所述节点的数据进行一致性管理，包括：
如果所述主实例数据是第二遗留数据，则根据所述等待计数值，对所述从节点的数据进行一致性管理，其中，所述第二遗留数据是在关闭分组规则时所述主节点中尚未符合所述一致性条件的数据；如果所述主实例数据不是所述第二遗留数据，则采用所述分布式集群中的主从复制机制对所述从节点的数据进行一致性管理。9.一种数据一致性管理装置，其特征在于，应用于分布式集群，所述分布式集群包括多个节点，所述装置包括：第一确定模块，用于确定多个分组，所述分组包括：...

【专利技术属性】
技术研发人员：徐斌，张小鹏，刘启荣，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：