一种日志条目提交方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种日志条目提交方法、装置、电子设备及存储介质。该方法包括：在每一轮次进行待提交日志条目提交时，确定副本映射关系，副本映射关系指示多副本集群中每个副本节点所属的逻辑数据中心；确定每个副本节点对应的日志序号信息，日志序号信息指示已存放至所对应副本节点中的日志条目的最大序号；根据副本映射关系和多个日志序号信息，确定目标日志序号信息，以使每个逻辑数据中心的至少一个副本节点存放有待提交日志条目；根据目标日志序号信息提交待提交日志条目。该方法在保证每个逻辑数据中心的至少一个副本节点存放有待提交日志条目时，进行待提交日志条目的提交，在多副本集群的应用场景下保障了数据的零丢失。多副本集群的应用场景下保障了数据的零丢失。多副本集群的应用场景下保障了数据的零丢失。

【技术实现步骤摘要】
一种日志条目提交方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种日志条目提交方法、装置、电子设备及存储介质。

技术介绍

[0002]多副本集群是一种基于RAFT(Replicated And Fault Tolerant)协议的分布式集群，RAFT是一种分布式算法，主要解决分布式中的一致性问题，可以将一个数据拷贝多份完全一样的副本，分别存放在多个不同节点上，这些多个不同节点组成多副本集群。多副本集群与传统的数据守护集群相比，不依赖于守护进程和监视器，且具有副本自动选主、自动故障处理和自动故障恢复的特点，并且少数副本出现故障或者网络延迟不会影响整个系统的正常运行。
[0003]在RAFT协议中，存在三种选举角色：领导者(LEADER)、跟随者(FOLLOWER)和候选者(CANDIDATE)。对于一个日志条目，若该日志条目在多副本集群内的多数副本上落盘后，该日志条目即可在LEADER上提交。其中，日志条目在副本上落盘可以理解为，日志条目被保存在存放该副本的节点的磁盘中。
[0004]在实际应用时，可以将多个副本分别部署到不同地区的机房中，每个地区的机房可视为一个物理数据中心，若一个日志条目仅在其中一个物理数据中心所包括的多个副本上落盘，且满足该日志条目可以在LEADER上提交的条件，则LEADER可以对这个日志条目进行提交。但在LEADER将该日志条目提交后，若该物理数据中心所包括的多个副本全部故障无法恢复，则在该物理数据中心提交的日志条目就会丢失，进而无法保障数据的零丢失。

技术实现思路

[0005]本专利技术提供了一种日志条目提交方法、装置、电子设备及存储介质，可以在多副本集群的应用场景下保障数据的零丢失。
[0006]第一方面，本专利技术实施例提供了一种日志条目提交方法，所述方法由多副本集群中的领导者节点执行，所述方法包括：
[0007]在每一轮次进行待提交日志条目提交时，确定副本映射关系，所述副本映射关系指示多副本集群中每个副本节点所属的逻辑数据中心；
[0008]确定每个副本节点对应的日志序号信息，所述日志序号信息指示已存放至所对应副本节点中的日志条目的最大序号；
[0009]根据所述副本映射关系和多个所述日志序号信息，确定目标日志序号信息，以使每个所述逻辑数据中心的至少一个副本节点存放有所述待提交日志条目；
[0010]根据所述目标日志序号信息提交所述待提交日志条目；
[0011]其中，所述逻辑数据中心为逻辑上设定的副本节点应属的数据中心，所述逻辑数据中心的数量为多个，每个所述逻辑数据中心包括一个或多个副本节点。
[0012]第二方面，本专利技术实施例提供了一种日志条目提交装置，包括：
[0013]第一确定模块，用于在每一轮次进行待提交日志条目提交时，确定副本映射关系，所述副本映射关系指示多副本集群中每个副本节点所属的逻辑数据中心；
[0014]第二确定模块，用于确定每个副本节点对应的日志序号信息，所述日志序号信息指示已存放至所对应副本节点中的日志条目的最大序号；
[0015]第三确定模块，用于根据所述副本映射关系和多个所述日志序号信息，确定目标日志序号信息，以使每个所述逻辑数据中心的至少一个副本节点存放有所述待提交日志条目；
[0016]提交模块，用于根据所述目标日志序号信息提交所述待提交日志条目；
[0017]其中，所述逻辑数据中心为逻辑上设定的副本节点应属的数据中心，所述逻辑数据中心的数量为多个，每个所述逻辑数据中心包括一个或多个副本节点。
[0018]第三方面，本专利技术实施例提供了一种电子设备，包括：
[0019]至少一个处理器；以及
[0020]与所述至少一个处理器通信连接的存储器；其中，
[0021]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。
[0022]第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。
[0023]本专利技术实施例的技术方案，在每一轮次进行待提交日志条目提交时，确定副本映射关系，副本映射关系指示多副本集群中每个副本节点所属的逻辑数据中心；确定每个副本节点对应的日志序号信息，日志序号信息指示已存放至所对应副本节点中的日志条目的最大序号；根据副本映射关系和多个日志序号信息，确定目标日志序号信息，以使每个逻辑数据中心的至少一个副本节点存放有待提交日志条目；根据目标日志序号信息提交待提交日志条目。上述技术方案，在保证每个逻辑数据中心的至少一个副本节点存放有待提交日志条目时，根据目标日志序号信息进行待提交日志条目的提交，可以在多副本集群的应用场景下保障数据的零丢失。
[0024]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0025]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1是根据本专利技术实施例一提供的一种日志条目提交方法的流程图；
[0027]图2是根据本专利技术实施例二提供的一种日志条目提交方法的流程图；
[0028]图3是根据本专利技术实施例三提供的一种多副本集群下多数据中心的数据完整性实现方法的流程图；
[0029]图4是根据本专利技术实施例四提供的一种日志条目提交装置的结构示意图；
[0030]图5示出了可以用来实施本专利技术的实施例的电子设备的结构示意图。
具体实施方式
[0031]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0032]需要说明的是，本专利技术中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0033]可以理解的是，在使用本专利技术各实施例公开的技术方案之前，均应当依本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志条目提交方法，其特征在于，所述方法由多副本集群中的领导者节点执行，所述方法包括：在每一轮次进行待提交日志条目提交时，确定副本映射关系，所述副本映射关系指示多副本集群中每个副本节点所属的逻辑数据中心；确定每个副本节点对应的日志序号信息，所述日志序号信息指示已存放至所对应副本节点中的日志条目的最大序号；根据所述副本映射关系和多个所述日志序号信息，确定目标日志序号信息，以使每个所述逻辑数据中心的至少一个副本节点存放有所述待提交日志条目；根据所述目标日志序号信息提交所述待提交日志条目；其中，所述逻辑数据中心为逻辑上设定的副本节点应属的数据中心，所述逻辑数据中心的数量为多个，每个所述逻辑数据中心包括一个或多个副本节点。2.根据权利要求1所述的方法，其特征在于，根据所述副本映射关系和多个所述日志序号信息，确定目标日志序号信息，包括：根据所述副本映射关系和多个所述日志序号信息，确定每个所述逻辑数据中心对应的中心日志序号信息；根据每个所述逻辑数据中心对应的中心日志序号信息，确定逻辑日志序号信息；将多个所述日志序号信息所指示日志条目的序号的中位数，确定为物理日志序号信息；根据所述逻辑日志序号信息和所述物理日志序号信息，确定所述目标日志序号信息；其中，所述物理日志序号信息指示满足物理数据中心对应的日志条目提交条件的序号，所述物理数据中心为设定的实际应用中副本节点应属的数据中心，所述物理数据中心的数量为一个或多个，每个所述物理数据中心包括一个或多个副本节点；所述日志条目提交条件为所有所述物理数据中心包括的全部副本节点中，半数以上副本节点能够存放有所述待提交日志条目。3.根据权利要求2所述的方法，其特征在于，根据所述副本映射关系和多个所述日志序号信息，确定每个所述逻辑数据中心对应的中心日志序号信息，包括：对于每个所述逻辑数据中心，根据所述副本映射关系确定所述逻辑数据中心所包括的每个副本节点；在多个所述日志序号信息中，确定所述逻辑数据中心所包括的每个副本节点对应的日志序号信息；根据所确定各日志序号信息，确定所述中心日志序号信息，所述中心日志序号信息指示各日志序号信息所指示序号中的最大序号。4.根据权利要求2所述的方法，其特征在于，根据每个所述逻辑数据中心对应的中心日志序号信息，确定逻辑...

【专利技术属性】
技术研发人员：刘新宇，王蒙蒙，韩朱忠，
申请(专利权)人：上海达梦数据库有限公司，
类型：发明
国别省市：