一种基于分布式协议的集群状态同步处理方法及其系统技术方案

本申请涉及一种基于分布式协议的集群状态同步处理方法及其系统，应用于计算机集群，所述计算机集群包括唯一主节点及多个与所述唯一主节点链接的从节点，所述方法包括：实时获取唯一主节点的状态变更信息，将所述状态变更信息同步推送至所有所述从节点，并接收每个所述从节点反馈的接收确认信号，当所述唯一主节点接收到超过预设数量阈值的接收确认信号时，将所述状态变更信息的数据同步状态进行实时更新处理，得到状态变更确认数据，将所述状态变更确认数据提交至所述唯一主节点的状态变更队列中进行叠加排序处理，得到与实际状态变动顺序相同步的状态变更同步数据。本申请具有提高集群数据处理的状态同步效率的效果。有提高集群数据处理的状态同步效率的效果。有提高集群数据处理的状态同步效率的效果。

【技术实现步骤摘要】
一种基于分布式协议的集群状态同步处理方法及其系统


[0001]本专利技术涉及数据状态同步的
，尤其是涉及一种基于分布式协议的集群状态同步处理方法及其系统。

技术介绍

[0002]目前，在面对海量的股票预警需求时，单机器的性能不足以满足海量的数据处理需求，因此需要采用多台机器对海量的股票预警数据分别进行数据处理，当集群的运行压力较大时，需要及时增加机器进行扩容来满足股票预警需求的增长，由于新增机器的初始状态为空，需要快速地通过集群状态参与数据运行。
[0003]现有的集群运行状态以状态变更记录的形式存在，便于集群内的机器能及时同步至最新的状态，但是当集群运行一定时间后，对应的状态变更数据往往会远大于实际状态数据，从而需要定期对状态变更数据处理成状态快照进行镜像备份，并在新加入的机器启动时拉取最新一次的状态快照数据，来获取对应状态快照的状态变更数据，但是，在定期快照处理期间，若新增加的状态变更记录较多，则状态变更记录的快照处理的系统开销也会随着增加，且集群数据堆积容易造成系统负载较高，造成新加入集群的机器状态变更缓慢。
[0004]针对上述中的相关技术，专利技术人认为存在有新加入集群的机器状态同步效率缓慢的缺陷。

技术实现思路

[0005]为了提高集群数据处理的状态同步效率，本申请提供一种基于分布式协议的集群状态同步处理方法、系统、计算机设备及存储介质。
[0006]本申请的上述专利技术目的一是通过以下技术方案得以实现的：一种基于分布式协议的集群状态同步处理方法，应用于计算机集群，所述计算机集群包括唯一主节点及多个与所述唯一主节点链接的从节点，所述方法包括：实时获取唯一主节点的状态变更信息；将所述状态变更信息同步推送至所有所述从节点，并接收每个所述从节点反馈的接收确认信号；当所述唯一主节点接收到超过预设数量阈值的接收确认信号时，将所述状态变更信息的数据同步状态进行实时更新处理，得到状态变更确认数据；将所述状态变更确认数据提交至所述唯一主节点的状态变更队列中进行叠加排序处理，得到与实际状态变动顺序相同步的状态变更同步数据。
[0007]通过采用上述技术方案，由于新增加的集群机器在接入系统时，需要进行数据状态同步，当状态变更记录较多时，集群将变动记录数据进行定期快照处理容易增加系统开销，造成系统数据传输的负载较高，数据堆积容易影响系统数据传输的效率，因此，通过分布式协议将数据状态同步进行分布式管理，并设置用于产生状态变更记录的唯一主节点，设置多个用于接收主节点推送的状态变更记录的从节点，从而实现数据状态的同步处理，
并根据唯一主节点和若干个从节点之间的关联关系，将状态变更信息同步推送至所有从节点中，并接收所有从节点反馈的接收确认信号，用于判断信息是否推送成功，并在信息接收确认信息的接收数量超过预设阈值时，将唯一主节点中的状态变更信息的数据同步状态进行实时更新，使数据同步状态与当前的数据推送进度保持同步，并通过对唯一主节点的状态变更队列进行叠加排序更新，使唯一主节点的状态变更同步数据与实际状态变动顺序保持同步，从而提高集群数据处理的状态同步效率。
[0008]本申请在一较佳示例中可以进一步配置为：在所述将所述状态变更确认数据提交至所述唯一主节点的状态变更队列中进行叠加排序处理，得到与实际状态变动顺序相同步的状态变更同步数据之后，所述方法还包括：对所述状态变更队列进行状态快照处理，得到与所述状态变更同步数据相同步的状态快照数据；当所述唯一主节点接入新增从节点时，获取所述新增从节点的接入时间；将所述状态快照数据中在所述接入时间及在所述接入时间之后的增量状态快照数据同步推送至所述新增从节点；将所述增量状态快照数据进行数据分段处理，将拆分后得到的增量状态快照数据段分别进行数据封装处理，得到唯一数据拆分结构组成的状态变更分段数据。
[0009]通过采用上述技术方案，通过对状态变更队列变动情况的监听，对变动的状态数据进行状态快照处理，使唯一主节点的状态快照数据与状态变更同步数据保持数据同步，提高状态快照的数据更新实时性，并在唯一主节点接入新增从节点时，获取新增从节点的接入时间来对状态数据进行定向更新，将大于或等于接入时间即从接入时间起的增量状态变更数据进行同步推送，通过独立对引起数据堆积的增量状态变更数据的分段处理，减少对整个状态数据队列的整体数据处理工作量，并根据预设的数据拆分规则，对增量状态变更数据进行数据分段处理，将拆分后的增量状态变更数据段分别进行数据封装，通过数据分段并独立进行数据封装的方式，提高数据传输便捷性，并降低数据压缩率，从而得到携带有唯一状态标签、数据拆分起始键值和数据拆分结束键值的状态变更分段数据，有助于通过唯一状态标签对状态数据进行唯一识别，并通过数据拆分起始键值和数据拆分结束键值便于多个状态数据的重新链接。
[0010]本申请在一较佳示例中可以进一步配置为：在将所述增量状态快照数据进行数据分段处理，将拆分后得到的增量状态快照数据段分别进行数据封装处理，得到唯一数据拆分结构组成的状态变更分段数据之后，所述方法还包括：对所述状态变更分段数据进行并行执行任务分配处理，得到用于控制所述状态变更分段数据的执行线程同步的同步任务执行信号；当每个所述从节点接收到所述同步任务执行信号时，根据所述状态变更分段数据获取所述唯一主节点的主状态快照数据；将每个所述从节点的原始变更队列中与所述主状态快照数据相同的重复变更记录进行数据更新处理。
[0011]通过采用上述技术方案，通过将唯一主节点的增量状态变更数据进行并行执行任务分配处理，使多个从节点数据同步线程的执行线程保持同步执行，从而得到唯一主节点与每个从节点之间的状态快照段同步任务，有助于在多个从节点同步线程中通过状态快照
进行数据同步，提高多个从节点的数据同步速率，并在从节点接收到同步任务执行信号时，能够通过增量状态变更数据段中进行唯一状态标签识别，从而得到与从节点的接入时间相对应的主状态快照数据，提高数据传输精确性，并将从节点的节点原始变更队列中与主状态快照数据相同的重复变更记录进行数据移除，同一唯一状态标签下仅保留最新的状态变更数据，从而得到每个从节点的唯一变更记录的同步状态变更队列数据，有助于减少数据重复存储对从节点内存的无效占用，提高从节点内存资源的利用率。
[0012]本申请在一较佳示例中可以进一步配置为：在将每个所述从节点的原始变更队列中与所述主状态快照数据相同的重复变更记录进行数据更新处理之后，所述方法还包括：获取每个所述同步任务执行信号所对应的任务执行进度数据；当所有的所述任务执行进度数据都处于完成状态时，将每个所述从节点更新后的原始变更队列进行增量快照处理，得到与所述增量状态变更数据相同步的从节点增量快照数据；根据所述从节点增量快照数据，对每个所述从节点的历史状态快照数据进行同步数据更新处理，得到每个所述从节点的完整状态快照数据；根据所述完整状态快照数据，对每个所述从节点的从节点状态与所述唯一主节点的当前主节点状态进行同步变更处理。
[0013]通过采用上述技术方案，通过每个状态快照段同步任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式协议的集群状态同步处理方法，其特征在于，应用于计算机集群，所述计算机集群包括唯一主节点及多个与所述唯一主节点链接的从节点，所述方法包括：实时获取唯一主节点的状态变更信息；将所述状态变更信息同步推送至所有所述从节点，并接收每个所述从节点反馈的接收确认信号；当所述唯一主节点接收到超过预设数量阈值的接收确认信号时，将所述状态变更信息的数据同步状态进行实时更新处理，得到状态变更确认数据；将所述状态变更确认数据提交至所述唯一主节点的状态变更队列中进行叠加排序处理，得到与实际状态变动顺序相同步的状态变更同步数据。2.根据权利要求1所述的基于分布式协议的集群状态同步处理方法，其特征在于，在所述将所述状态变更确认数据提交至所述唯一主节点的状态变更队列中进行叠加排序处理，得到与实际状态变动顺序相同步的状态变更同步数据之后，所述方法还包括：对所述状态变更队列进行状态快照处理，得到与所述状态变更同步数据相同步的状态快照数据；当所述唯一主节点接入新增从节点时，获取所述新增从节点的接入时间；将所述状态快照数据中在所述接入时间及在所述接入时间之后的增量状态快照数据同步推送至所述新增从节点；将所述增量状态快照数据进行数据分段处理，将拆分后得到的增量状态快照数据段分别进行数据封装处理，得到唯一数据拆分结构组成的状态变更分段数据。3.根据权利要求2所述的基于分布式协议的集群状态同步处理方法，其特征在于，在将所述增量状态快照数据进行数据分段处理，将拆分后得到的增量状态快照数据段分别进行数据封装处理，得到唯一数据拆分结构组成的状态变更分段数据之后，所述方法还包括：对所述状态变更分段数据进行并行执行任务分配处理，得到用于控制所述状态变更分段数据的执行线程同步的同步任务执行信号；当每个所述从节点接收到所述同步任务执行信号时，根据所述状态变更分段数据获取所述唯一主节点的主状态快照数据；将每个所述从节点的原始变更队列中与所述主状态快照数据相同的重复变更记录进行数据更新处理。4.根据权利要求3所述的基于分布式协议的集群状态同步处理方法，其特征在于，在将每个所述从节点的原始变更队列中与所述主状态快照数据相同的重复变更记录进行数据更新处理之后，所述方法还包括：获取每个所述同步任务执行信号所对应的任务执行进度数据；当所有的所述任务执行进度数据都处于完成状态时，将每个所述从节点更新后的原始变更队列进行增量快照处理，得到与所述增量状态变更数据相同步的从节点增量快照数据；根据所述从节点增量快照数据，对每个所述从节点的历史状态快照数据进行同步数据更新处理，得到每个所述从节点的完整状态快照数据；根据所述完整状态快照数据，对每个所述从节点的从节点状态与所述唯一主节点的当前主节点状态进行同步变更处理。
5.根据权利要求1所述的基于分布式协议的集群状态同步处理方法，其特征在于，在所述实时获取唯一主节点的状态...

【专利技术属性】
技术研发人员：曾赞达，李雄飞，罗文杰，柯年军，卢树文，周伟杰，谭彪荣，
申请(专利权)人：广州经传多赢投资咨询有限公司，
类型：发明
国别省市：