集群平滑迁移方法及装置制造方法及图纸

本申请实施例提供一种集群平滑迁移方法及装置，涉及分布式领域，方法包括：根据待迁移集群的集群标识确定对应的集群基本信息和集群主题信息，并根据所述集群基本信息和集群主题信息确定需扩容规模；根据所述需扩容规模进行横向扩容，并在所述横向扩容完成后根据新节点信息和主题副本分布信息确定迁移后的主题重分布信息；根据所述主题重分布信息进行主题迁移，并在所述主题迁移完成后对相应的旧节点进行缩容操作；本申请能够有效提高集群迁移时的可靠性和准确性。的可靠性和准确性。的可靠性和准确性。

【技术实现步骤摘要】
集群平滑迁移方法及装置


[0001]本申请涉及分布式领域，具体涉及一种集群平滑迁移方法及装置。

技术介绍

[0002]Kafka作为一个高吞吐的分布式消息系统，已经被应用在很多大型公司的实际业务中。有时候因为基础设施改造等原因，Kafka集群需要迁移到新的设备上运行。目前的迁移技术一般是预先在新设备上搭建和旧集群完全一致的Kafka新集群，然后旧集群上游停止发送数据，接着旧集群下游将存量数据消费完，下游确认消费完后切换到新集群上消费数据，最后上游切换到新集群发送数据。
[0003]现有迁移技术的操作比较复杂，因为大部分集群都是包含多个上游和下游的，要全部上下游一起协商好迁移的时间和顺序是很困难的，而且上下游都需要停机进行迁移，对于一些不能停机或者停机影响较大的业务来说是不可行的。另外，这种迁移技术没有把存量的数据迁移到新集群上，如果某些下游需要回溯到之前的数据重新消费，现有迁移技术也是不支持的。

技术实现思路

[0004]针对现有技术中的问题，本申请提供一种集群平滑迁移方法及装置，能够有效提高集群迁移时的可靠性和准确性。
[0005]为了解决上述问题中的至少一个，本申请提供以下技术方案：
[0006]第一方面，本申请提供一种集群平滑迁移方法，包括：
[0007]根据待迁移集群的集群标识确定对应的集群基本信息和集群主题信息，并根据所述集群基本信息和集群主题信息确定需扩容规模；
[0008]根据所述需扩容规模进行横向扩容，并在所述横向扩容完成后根据新节点信息和主题副本分布信息确定迁移后的主题重分布信息；
[0009]根据所述主题重分布信息进行主题迁移，并在所述主题迁移完成后对相应的旧节点进行缩容操作。
[0010]进一步地，在所述根据所述主题重分布信息进行主题迁移之后，包括：
[0011]验证所述主题迁移是否执行成功；
[0012]若成功，则启动旧节点缩容操作，否则执行任务回退操作。
[0013]进一步地，所述根据所述集群基本信息和集群主题信息确定需扩容规模，包括：
[0014]根据集群内主题近一周事务处理量、消息体平均大小以及消息保留周期信息计算所有主题的最大带宽以及所需存储；
[0015]根据单节点所能支撑带宽以及存储计算集群规模；
[0016]根据所述最大带宽、所述所需存储以及所述集群规模确定需扩容规模。
[0017]进一步地，所述根据所述需扩容规模进行横向扩容，包括：
[0018]将与消息中间件版本对应的介质信息下发至新节点，并在所述新节点上安装启动
所述消息中间件；
[0019]将所述新节点加入待迁移集群。
[0020]进一步地，所述根据所述主题重分布信息进行主题迁移，包括：
[0021]将所述主题重分布信息转换未JSON文件并下发至集群内任意节点上；
[0022]根据所述JSON文件执行主题副本迁移操作。
[0023]进一步地，所述在所述主题迁移完成后对相应的旧节点进行缩容操作，包括：
[0024]校验旧节点上是否存在未迁移主题；
[0025]若是，则登录所述旧节点并执行消息中间件卸载操作。
[0026]第二方面，本申请提供一种集群平滑迁移装置，包括：
[0027]扩容规模确定模块，用于根据待迁移集群的集群标识确定对应的集群基本信息和集群主题信息，并根据所述集群基本信息和集群主题信息确定需扩容规模；
[0028]重分布信息确定模块，用于根据所述需扩容规模进行横向扩容，并在所述横向扩容完成后根据新节点信息和主题副本分布信息确定迁移后的主题重分布信息；
[0029]主题迁移模块，用于根据所述主题重分布信息进行主题迁移，并在所述主题迁移完成后对相应的旧节点进行缩容操作。
[0030]第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的集群平滑迁移方法的步骤。
[0031]第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的集群平滑迁移方法的步骤。
[0032]第五方面，本申请提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述的集群平滑迁移方法的步骤。
[0033]由上述技术方案可知，本申请提供一种集群平滑迁移方法及装置，通过根据待迁移集群的集群标识确定对应的集群基本信息和集群主题信息，并根据所述集群基本信息和集群主题信息确定需扩容规模；根据所述需扩容规模进行横向扩容，并在所述横向扩容完成后根据新节点信息和主题副本分布信息确定迁移后的主题重分布信息；根据所述主题重分布信息进行主题迁移，并在所述主题迁移完成后对相应的旧节点进行缩容操作，由此能够有效提高集群迁移时的可靠性和准确性。
附图说明
[0034]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1为本申请实施例中的集群平滑迁移方法的流程示意图之一；
[0036]图2为本申请实施例中的集群平滑迁移方法的流程示意图之二；
[0037]图3为本申请实施例中的集群平滑迁移方法的流程示意图之三；
[0038]图4为本申请实施例中的集群平滑迁移方法的流程示意图之四；
[0039]图5为本申请实施例中的集群平滑迁移方法的流程示意图之五；
[0040]图6为本申请实施例中的集群平滑迁移方法的流程示意图之六；
[0041]图7为本申请实施例中的集群平滑迁移装置的结构图；
[0042]图8为本申请实施例中的电子设备的结构示意图。
具体实施方式
[0043]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0044]本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
[0045]考虑到现有技术中存在的问题，本申请提供一种集群平滑迁移方法及装置，通过根据待迁移集群的集群标识确定对应的集群基本信息和集群主题信息，并根据所述集群基本信息和集群主题信息确定需扩容规模；根据所述需扩容规模进行横向扩容，并在所述横向扩容完成后根据新节点信息和主题副本分布信息确定迁移后的主题重分布信息；根据所述主题重分布信息进行主题迁移，并在所述主题迁移完成后对相应的旧节点进行缩容操作，由此能够有效提高集群迁移时的可靠本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集群平滑迁移方法，其特征在于，所述方法包括：根据待迁移集群的集群标识确定对应的集群基本信息和集群主题信息，并根据所述集群基本信息和集群主题信息确定需扩容规模；根据所述需扩容规模进行横向扩容，并在所述横向扩容完成后根据新节点信息和主题副本分布信息确定迁移后的主题重分布信息；根据所述主题重分布信息进行主题迁移，并在所述主题迁移完成后对相应的旧节点进行缩容操作。2.根据权利要求1所述的集群平滑迁移方法，其特征在于，在所述根据所述主题重分布信息进行主题迁移之后，包括：验证所述主题迁移是否执行成功；若成功，则启动旧节点缩容操作，否则执行任务回退操作。3.根据权利要求1所述的集群平滑迁移方法，其特征在于，所述根据所述集群基本信息和集群主题信息确定需扩容规模，包括：根据集群内主题近一周事务处理量、消息体平均大小以及消息保留周期信息计算所有主题的最大带宽以及所需存储；根据单节点所能支撑带宽以及存储计算集群规模；根据所述最大带宽、所述所需存储以及所述集群规模确定需扩容规模。4.根据权利要求1所述的集群平滑迁移方法，其特征在于，所述根据所述需扩容规模进行横向扩容，包括：将与消息中间件版本对应的介质信息下发至新节点，并在所述新节点上安装启动所述消息中间件；将所述新节点加入待迁移集群。5.根据权利要求1所述的集群平滑迁移方法，其特征在于，所述根据所述主题重分布信息进行主题迁移，包括：将所述主题重...

【专利技术属性】
技术研发人员：冯子杰，钟小威，孟江，杨旭杰，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：