分布式消息平台容灾处理方法及装置制造方法及图纸

本申请实施例提供一种分布式消息平台容灾处理方法及装置，方法包括：通过预设监控组件对现存集群节点的工作数据进行采集，并对采集到的工作数据进行比对评估；根据所述比对评估结果对满足应急迁移条件的集群节点执行集群消息队列应急迁移操作；本申请能够克服应急手工步骤多时效低的问题，保障分布式消息平台的高可用容灾能力。的高可用容灾能力。的高可用容灾能力。

【技术实现步骤摘要】
分布式消息平台容灾处理方法及装置


[0001]本申请涉及分布式领域，具体涉及一种分布式消息平台容灾处理方法及装置。

技术介绍

[0002]目前分布式消息系统已经被应用在很多大型公司的实际业务中。目前的应急方法主要是集群使用情况出现CPU冲高、消费堆积等情况时，进行人工判断集群情况及Topic迁移方案，再进行手工创建Kafka集群以及Topic的方式进行应急。该方案需要在应急时搭建集群手工迁移Topic，在新增的应急集群创建对应Topic，并通知Topic涉及的上下游修改程序配置发版重新连接到应急集群。
[0003]专利技术人发现，现有技术方案，由于需要服务端人工判断并手工创建应急集群和Topic，客户端修改代码配置再重启连接，导致手工维护的成本大，应急处理所需时间长，处理时效性低。

技术实现思路

[0004]针对现有技术中的问题，本申请提供一种分布式消息平台容灾处理方法及装置，能够克服应急手工步骤多时效低的问题，保障分布式消息平台的高可用容灾能力。
[0005]为了解决上述问题中的至少一个，本申请提供以下技术方案：
[0006]第一方面，本申请提供一种分布式消息平台容灾处理方法，包括：
[0007]通过预设监控组件对现存集群节点的工作数据进行采集，并对采集到的工作数据进行比对评估；
[0008]根据所述比对评估结果对满足应急迁移条件的集群节点执行集群消息队列应急迁移操作。
[0009]进一步地，所述对采集到的工作数据进行比对评估，包括：
[0010]将采集到的工作数据与预设性能阈值进行数值对比；
[0011]若所述工作数据超出所述预设性能阈值，则判定相应集群节点满足应急迁移条件。
[0012]进一步地，所述根据所述比对评估结果对满足应急迁移条件的集群节点执行集群消息队列应急迁移操作，包括：
[0013]根据所述比对评估结果关闭满足应急迁移条件的集群节点的消息队列；
[0014]在对应的应急集群中执行与该消息队列相应的数据迁移操作。
[0015]进一步地，在所述在对应的应急集群中执行与该消息队列相应的数据迁移操作之后，包括：
[0016]更新平台服务列表中的集群路由关系；
[0017]根据更新后的集群路由关系建立客户端与所述应急集群的通信连接以进行消息生产消费。
[0018]进一步地，所述若所述工作数据超出所述预设性能阈值，则判定相应集群节点满
足应急迁移条件，包括：
[0019]若生产上现存集群节点的CPU负载、流入流出量、存储、分区数、消息堆积情况中的至少一种超出相应的预设性能阈值，则判定相应集群节点满足应急迁移条件。
[0020]进一步地，还包括：
[0021]将所述比对评估结果为性能达到瓶颈的集群节点的消息队列的可用状态设置为关闭；
[0022]创建与该集群节点对应的应急集群并创建所述应急集群的消息队列以执行数据迁移操作。
[0023]第二方面，本申请提供一种分布式消息平台容灾处理装置，包括：
[0024]节点监测评估模块，用于通过预设监控组件对现存集群节点的工作数据进行采集，并对采集到的工作数据进行比对评估；
[0025]集群应急迁移模块，用于根据所述比对评估结果对满足应急迁移条件的集群节点执行集群消息队列应急迁移操作。
[0026]进一步地，所述节点监测评估模块包括：
[0027]性能比对单元，用于将采集到的工作数据与预设性能阈值进行数值对比；
[0028]应急触发单元，用于若所述工作数据超出所述预设性能阈值，则判定相应集群节点满足应急迁移条件。
[0029]进一步地，所述集群应急迁移模块包括：
[0030]服务关闭单元，用于根据所述比对评估结果关闭满足应急迁移条件的集群节点的消息队列；
[0031]数据迁移单元，用于在对应的应急集群中执行与该消息队列相应的数据迁移操作。
[0032]进一步地，所述集群应急迁移模块还包括：
[0033]列表更新单元，用于更新平台服务列表中的集群路由关系；
[0034]新建路由单元，用于根据更新后的集群路由关系建立客户端与所述应急集群的通信连接以进行消息生产消费。
[0035]第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的分布式消息平台容灾处理方法的步骤。
[0036]第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的分布式消息平台容灾处理方法的步骤。
[0037]第五方面，本申请提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述的分布式消息平台容灾处理方法的步骤。
[0038]由上述技术方案可知，本申请提供一种分布式消息平台容灾处理方法及装置，通过预设监控组件对现存集群节点的工作数据进行采集，并对采集到的工作数据进行比对评估；根据所述比对评估结果对满足应急迁移条件的集群节点执行集群消息队列应急迁移操作，由此能够克服应急手工步骤多时效低的问题，保障分布式消息平台的高可用容灾能力。
附图说明
[0039]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1为本申请实施例中的分布式消息平台容灾处理方法的流程示意图之一；
[0041]图2为本申请实施例中的分布式消息平台容灾处理方法的流程示意图之二；
[0042]图3为本申请实施例中的分布式消息平台容灾处理方法的流程示意图之三；
[0043]图4为本申请实施例中的分布式消息平台容灾处理方法的流程示意图之四；
[0044]图5为本申请实施例中的分布式消息平台容灾处理装置的结构图之一；
[0045]图6为本申请实施例中的分布式消息平台容灾处理装置的结构图之二；
[0046]图7为本申请实施例中的分布式消息平台容灾处理装置的结构图之三；
[0047]图8为本申请实施例中的分布式消息平台容灾处理装置的结构图之四；
[0048]图9为本申请一具体实施例中的分布式消息平台容灾处理系统的结构图；
[0049]图10为本申请实施例中的电子设备的结构示意图。
具体实施方式
[0050]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
...

【技术保护点】

【技术特征摘要】
1.一种分布式消息平台容灾处理方法，其特征在于，所述方法包括：通过预设监控组件对现存集群节点的工作数据进行采集，并对采集到的工作数据进行比对评估；根据所述比对评估结果对满足应急迁移条件的集群节点执行集群消息队列应急迁移操作。2.根据权利要求1所述的分布式消息平台容灾处理方法，其特征在于，所述对采集到的工作数据进行比对评估，包括：将采集到的工作数据与预设性能阈值进行数值对比；若所述工作数据超出所述预设性能阈值，则判定相应集群节点满足应急迁移条件。3.根据权利要求1所述的分布式消息平台容灾处理方法，其特征在于，所述根据所述比对评估结果对满足应急迁移条件的集群节点执行集群消息队列应急迁移操作，包括：根据所述比对评估结果关闭满足应急迁移条件的集群节点的消息队列；在对应的应急集群中执行与该消息队列相应的数据迁移操作。4.根据权利要求3所述的分布式消息平台容灾处理方法，其特征在于，在所述在对应的应急集群中执行与该消息队列相应的数据迁移操作之后，包括：更新平台服务列表中的集群路由关系；根据更新后的集群路由关系建立客户端与所述应急集群的通信连接以进行消息生产消费。5.根据权利要求2所述的分布式消息平台容灾处理方法，其特征在于，所述若所述工作数据超出所述预设性能阈值，则判定相应集群节点满足应急迁移条件，包括：若生产上现存...

【专利技术属性】
技术研发人员：蔡佳纯，钟小威，冯子杰，杨旭杰，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：