集群迁移方法、相关装置及存储介质制造方法及图纸

本申请实施例涉及云服务领域，提供一种集群迁移方法、相关装置及存储介质，该集群迁移方法应用于集群迁移系统中的迁移控制节点，该集群迁移系统还包括分离部署的源集群和目标容器环境，所述目标容器环境中包括多个第一节点，所述源集群中包括多个第二节点，第一节点与第二节点的数量相同；该方法包括：将各个第一节点加入所述源集群，得到过渡集群；所述过渡集群中包括全部第一节点和全部第二节点；在所述过渡集群中，将各个第二节点中的全部分区的数据，分别迁移至各个第一节点中；其中，第一节点与第二节点一一对应，每个第二节点均存储多个分区数据；更新所述过渡集群中全部节点的配置信息，得到目标集群，所述目标集群中仅包括第一节点。括第一节点。括第一节点。

【技术实现步骤摘要】
集群迁移方法、相关装置及存储介质


[0001]本申请实施例涉及云服务
，更具体地涉及一种集群迁移方法、相关装置及存储介质。

技术介绍

[0002]容器技术的出现让应用和中间件的交付及部署，相比于传统的基于虚拟机或物理机环境的交付与部署更加方便快捷，也更容易被整合到基于容器环境的开发运维一体化(Development and Operations，DevOps)生态。
[0003]Kafka是一种被广泛使用的高吞吐量、高可靠性的消息中间件，如今随着云原生理念的普及，越来越多的用户将Kafka部署在容器环境。但对于企业中的原有业务系统，如何在业务基本不中断的前提下，将Kafka集群从虚拟机或物理机环境迁移到容器环境，却没有合适的方案。

技术实现思路

[0004]本申请实施例提供一种集群迁移方法、相关装置及存储介质,可以在不中断业务的前提下，将集群服务程序由虚拟机或物理机环境迁移到容器环境。
[0005]第一方面，本申请实施例提供一种集群迁移方法，应用于集群迁移系统中的迁移控制节点，该集群迁移系统还包括分离部署的源集群和目标容器环境，所述目标容器环境中包括多个第一节点，所述源集群中包括多个第二节点，第一节点与第二节点的数量相同；该方法包括：
[0006]将各个第一节点加入所述源集群，得到过渡集群；所述过渡集群中包括全部第一节点和全部第二节点；
[0007]在所述过渡集群中，将各个第二节点中的全部分区的数据，分别迁移至各个第一节点中；其中，第一节点与第二节点一一对应，每个第二节点均存储多个分区数据；
[0008]更新所述过渡集群中全部节点的配置信息，得到目标集群，所述目标集群中仅包括第一节点。
[0009]第二方面，本申请实施例提供一种控制节点，应用于集群迁移系统中，具有实现对应于上述第一方面提供的集群迁移方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
[0010]在一个实施方式中，该节点应用于集群迁移系统，该集群迁移系统还包括分离部署的源集群和目标容器环境，所述目标容器环境中包括多个第一节点，所述源集群中包括多个第二节点，第一节点与第二节点的数量相同；该节点包括；
[0011]收发模块，被配置为向各个第一节点发送加入所述源集群的指令，以得到过渡集群；所述过渡集群中包括全部第一节点和全部第二节点；
[0012]处理模块，被配置为在所述过渡集群中，将各个第二节点中的全部分区的数据，分
别迁移至各个第一节点中；其中，第一节点与第二节点一一对应，每个第二节点均存储多个分区数据；
[0013]所述处理模块，还被配置为更新所述过渡集群中全部节点的配置信息，得到目标集群，所述目标集群中仅包括第一节点。
[0014]第三方面，本申请实施例提供一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如第一方面所述的集群迁移方法。
[0015]第四方面，本申请实施例提供一种计算设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面所述的集群迁移方法。
[0016]相较于现有技术，本申请实施例中，迁移控制节点通过将目标容器环境中新建的第一节点加入虚拟机或物理机环境中的源集群，得到一个完整的过渡集群，然后在该过渡集群中完成源集群的全部第二节点中的分区数据到第一节点的迁移，最后关停源集群。由于本申请实施例中的数据迁移操作是在同一个集群中完成的，而不是现有技术中的不同集群间完成，相当于避免了数据的跨域传输，提高了数据的传输效率，节省了网络资源和时间。另外，由于本申请实施例中是通过迁移控制节点更新新旧集群节点的网络配置信息，实现数据迁移后的数据传输目的地址的转换，相当于通过一个固定的中转站中转了业务方(消费者、生产者)与集群的数据传输，而不是现有技术中业务方与集群直接连接的方式，从而使得在集群迁移开始前到结束后，业务方可以通过所述中转站分别连接旧节点或新节点，避免了集群迁移过程中可能发生的抖动，实现了集群的热迁移，不会发生业务中断的情况。
附图说明
[0017]通过参考附图阅读本申请实施例的详细描述，本申请实施例的目的、特征和优点将变得易于理解。其中：
[0018]图1为本申请实施例中集群迁移方法的一种集群迁移系统示意图；
[0019]图2为本申请实施例中集群迁移方法的一种流程示意图；
[0020]图3为本申请实施例中集群迁移方法的一种集群迁移的节点变化过程示意图；
[0021]图4为本申请实施例中集群迁移方法的一种将第二节点的数据迁移至第一节点的流程示意图；
[0022]图5为本申请实施例中集群迁移方法的一种将第二分区的数据迁移至第一节点的流程示意图；
[0023]图6为本申请实施例中集群迁移方法的一种数据迁移的分区变化过程示意图；
[0024]图7为本申请实施例中集群迁移方法的一种信令交互图；
[0025]图8为本申请实施例中控制节点的一种结构示意图；
[0026]图9为本申请实施例中计算设备的一种结构示意图；
[0027]图10为本申请实施例中服务器的一种结构示意图。
[0028]在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
[0029]本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象(例如第一节点和第二节点分别表示为不同的节点，其他类似)，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合，通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
[0030]本申请实施例提供一种集群迁移方法、相关装置及存储介质，可应用于集群迁移系统，该集群迁移系统可包括作为迁移目的节点的第一节点、源集群和迁移控制节点。该迁移控制节点至少用于将各个第一节点加入所述源集群，得到过渡集群，并在该过渡集群中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集群迁移方法，应用于集群迁移系统中的迁移控制节点，该集群迁移系统还包括分离部署的源集群和目标容器环境，所述目标容器环境中包括多个第一节点，所述源集群中包括多个第二节点，第一节点与第二节点的数量相同；该方法包括：将各个第一节点加入所述源集群，得到过渡集群；所述过渡集群中包括全部第一节点和全部第二节点；在所述过渡集群中，将各个第二节点中的全部分区的数据，分别迁移至各个第一节点中；其中，第一节点与第二节点一一对应，每个第二节点均存储多个分区数据；更新所述过渡集群中全部节点的配置信息，得到目标集群，所述目标集群中仅包括第一节点。2.如权利要求1所述的方法，其特征在于，所述过渡集群包括主控制节点和候选控制节点，所述主控制节点由一个第二节点预先注册得到，所述候选控制节点由一个第一节点注册得到；所述候选控制节点用于同步所述主控制节点中的配置信息，并在接收到预设指令时，接替所述主控制节点。3.如权利要求1所述的方法，其特征在于，各个第二节点通过预设网络地址映射与消费者节点和生产者节点建立通讯连接；所述预设网络地址映射包括各个第二节点的真实网络地址与预设网络地址的映射，所述预设网络地址包括以下项之一：域名、虚拟网络地址和转发节点地址；所述更新所述过渡集群中全部节点的配置信息，包括：将所述预设网络地址映射中的各个第二节点的真实网络地址更新为各个第一节点的真实网络地址。4.如权利要求1
‑
3中任一项所述的方法，其特征在于，将一个第二节点中的全部分区数据迁移至一个第一节点，包括：根据各个消费者节点的历史消费记录，从该第二节点的全部分区中获取第一分区和第二分区，第一分区的历史消费次数不大于预设值，第二分区的历史消费次数大于所述预设值；根据第一迁移策略，将各个第一分区的数据，迁移至所述第一节点；并根据第二迁移策略，将各个第二分区的数据，迁移至所述第一节点。5.如权利要求4所述的方法，其特征在于，所述根据所述第二迁移策略，将一个第二分区的数据，迁移至所述第一节点，包括：获取所述第二分区中的全部活跃数据，各个活跃数据在历史时段内被消费者节点消费的次数超过所述预设值；将各个活跃数据...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：