【技术实现步骤摘要】
本申请涉及运维，尤其涉及基于kafka集群的数据迁移方法、装置、设备及介质。
技术介绍
1、apache kafka是一种高吞吐量、可扩展性强、容错能力高的发布-订阅型消息系统，主要用于构建实时的数据管道和流式应用程序。目前，kafka已经成为处理流式数据，特别是在大数据和微服务架构中，不可或缺的中间件。
2、在企业应用中，随着业务的发展和技术栈的迭代，在多种业务场景下，如软硬件升级、集群拓展或重构、数据中心搬迁、业务云迁移、业务连续性保障等，都有可能存在kafka集群的迁移需求。
3、相关技术中，主要通过kafka自带的工具或者第三方提供的产品来实现kafka基础数据的跨集群迁移，但由于数据迁移过程中存在配置复杂性较高、资源数量较大等情况，涉及到的不确定因素较多，导致整体数据同步过程可能因多种原因产生中断，需要人工介入进行修复，进而影响kafka集群的数据迁移效率。
技术实现思路
1、本申请提供一种基于kafka集群的数据迁移方法、装置、设备及介质，能够在集群迁移的同时自动进行实时监控以及故障处理，进而提高了迁移效率。
2、第一方面，本申请实施例提供了一种基于kafka集群的数据迁移方法，包括：
3、响应于对kafka集群中的数据进行迁移的迁移指令，确定源集群中的待迁移数据，复制待迁移数据并写入目标集群；
4、在复制过程中，从源集群以及目标集群中实时采集监控数据，并基于监控数据周期性执行如下操作，至待迁移数据全部写入目标
5、确定采集到的监控数据满足故障检测的触发条件时，获取源集群以及目标集群各自的运行状态参数集，基于运行状态参数集以及故障类型与各运行状态参数取值的对应关系，确定存在故障的集群以及对应的目标故障类型；存在故障的集群为源集群和目标集群中的至少一种；
6、基于故障类型与修复策略的对应关系，确定与目标故障类型对应的目标修复策略，并对存在故障的集群执行目标修复策略。
7、在一种可能的实施方式中，响应于对kafka集群中的数据进行迁移的迁移指令，确定源集群中的待迁移数据，包括：
8、响应于迁移指令，获取检查点信息以及筛选条件，检查点信息用于标识上一次数据迁移的结束位置；
9、基于检查点信息，确定源集群中待迁移数据的复制起点；
10、将源集群中，位于复制起点之后且满足筛选条件的数据，确定为源集群中的待迁移数据。
11、在一种可能的实施方式中，检查点信息中包括待迁移数据对应的主题标识、上一次数据迁移结束时源集群的复制偏移量以及上一次数据迁移的结束时间。
12、在一种可能的实施方式中，待迁移数据全部写入目标集群后，方法还包括：
13、基于源集群中当前的数据偏移量以及当前时间，对检查点信息进行更新。
14、在一种可能的实施方式中，通过如下任意一种方式确定采集到的监控数据是否满足故障检测的触发条件：
15、确定采集到的监控数据在预设时间内的变化情况，基于变化情况确定是否满足故障检测的触发条件；
16、将采集到的监控数据与对应的参考取值范围进行比对，确定是否满足故障检测的触发条件。
17、在一种可能的实施方式中，若采集到的监控数据不满足故障检测的触发条件，则方法还包括：
18、对监控数据进行分析，基于分析结果确定当前数据迁移的效率低于预设阈值时，对源集群或目标集群的复制参数进行调整；复制参数用于表征集群在进行数据迁移时的数据处理速度。
19、在一种可能的实施方式中，监控数据包括如下至少一项：
20、待迁移数据的复制进度、目标集群的资源使用率、源集群的性能指标、目标集群的性能指标。
21、在一种可能的实施方式中，方法还包括：
22、从源集群中获取与待迁移数据对应的消费者组集合；消费者组集合中包括至少一个消费者组；
23、对消费者组集合中的消费者组进行筛选，得到待映射的源消费者组；
24、针对每个源消费者组，确定目标集群中不存在对应的目标消费者组时，创建与源消费者组对应的目标消费者组；
25、目标消费者组用于：建立源集群与目标集群的映射关系，以使消费者从目标集群中获取待迁移数据。
26、在一种可能的实施方式中，对消费者组集合中的消费者组进行筛选，得到待映射的源消费者组，包括：
27、基于预设的消费者组白名单，从消费者组集合中筛选位于消费者组白名单内的消费者组，作为待映射的源消费者组；或者，
28、基于预设的消费者组黑名单，从消费者组集合中筛选位于消费者组黑名单之外的消费者组，作为待映射的源消费者组。
29、在一种可能的实施方式中，确定目标集群中不存在对应的目标消费者组之后，创建与源消费者组对应的目标消费者组之前，方法包括：
30、获取预配置的各消费者组的映射关系，映射关系包括：透明映射以及非透明映射；
31、确定与源消费者组对应的映射关系为透明映射时，创建一个标识作为源消费者组对应的目标消费者组的标识；
32、确定与源消费者组对应的映射关系为非透明映射时，将源消费者组的标识作为对应的目标消费者组的标识。
33、在一种可能的实施方式中，创建与源消费者组对应的目标消费者组之后，方法包括：
34、确定源消费者组对应的消费偏移量；
35、将消费偏移量同步至对应的目标消费者组。
36、第二方面，本申请实施例提供了一种基于kafka集群的数据迁移方法装置，包括：
37、数据迁移模块，用于响应于对kafka集群中的数据进行迁移的迁移指令，确定源集群中的待迁移数据，复制待迁移数据并写入目标集群；
38、监控模块，用于在复制过程中，从源集群以及目标集群中实时采集监控数据，并周期性确定采集到的监控数据是否满足故障检测的触发条件，至待迁移数据全部写入目标集群，监控数据用于表征数据迁移的效率：
39、故障确定模块，用于确定采集到的监控数据满足故障检测的触发条件时，获取源集群以及目标集群各自的运行状态参数集，基于运行状态参数集以及故障类型与各运行状态参数取值的对应关系，确定存在故障的集群以及对应的目标故障类型；存在故障的集群为源集群和目标集群中的至少一种；
40、修复模块，用于基于故障类型与修复策略的对应关系，确定与目标故障类型对应的目标修复策略，并对存在故障的集群执行目标修复策略。
41、第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在上述存储器上并可在上述处理器上运行的计算机程序，上述处理器执行上述程序时实现本申请上述基于kafka集群的数据迁移方法中的步骤。
42、第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请上述基本文档来自技高网...
【技术保护点】
1.一种基于Kafka集群的数据迁移方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述响应于对Kafka集群中的数据进行迁移的迁移指令，确定源集群中的待迁移数据，包括：
3.如权利要求2所述的方法，其特征在于，所述检查点信息中包括待迁移数据对应的主题标识、上一次数据迁移结束时所述源集群的复制偏移量以及上一次数据迁移的结束时间。
4.如权利要求2或3所述的方法，其特征在于，所述待迁移数据全部写入所述目标集群后，所述方法还包括：
5.如权利要求1所述的方法，其特征在于，通过如下任意一种方式确定采集到的监控数据是否满足故障检测的触发条件：
6.如权利要求1或5所述的方法，其特征在于，若采集到的监控数据不满足故障检测的触发条件，则所述方法还包括：
7.如权利要求1所述的方法，其特征在于，所述监控数据包括如下至少一项：
8.如权利要求1所述的方法，其特征在于，所述方法还包括：
9.如权利要求8所述的方法，其特征在于，所述对所述消费者组集合中的消费者组进行筛选，得到待映
10.如权利要求8所述的方法，其特征在于，所述确定所述目标集群中不存在对应的目标消费者组之后，创建与所述源消费者组对应的目标消费者组之前，所述方法包括：
11.如权利要求8～10任一所述的方法，其特征在于，所述创建与所述源消费者组对应的目标消费者组之后，所述方法包括：
12.一种基于Kafka集群的数据迁移装置，其特征在于，包括：
13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11任一项所述方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现权利要求1至11任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于kafka集群的数据迁移方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述响应于对kafka集群中的数据进行迁移的迁移指令，确定源集群中的待迁移数据，包括：
3.如权利要求2所述的方法，其特征在于，所述检查点信息中包括待迁移数据对应的主题标识、上一次数据迁移结束时所述源集群的复制偏移量以及上一次数据迁移的结束时间。
4.如权利要求2或3所述的方法，其特征在于，所述待迁移数据全部写入所述目标集群后，所述方法还包括：
5.如权利要求1所述的方法，其特征在于，通过如下任意一种方式确定采集到的监控数据是否满足故障检测的触发条件：
6.如权利要求1或5所述的方法，其特征在于，若采集到的监控数据不满足故障检测的触发条件，则所述方法还包括：
7.如权利要求1所述的方法，其特征在于，所述监控数据包括如下至少一项：
8.如权利要求1所述的方法，其特征...
【专利技术属性】
技术研发人员：曹文涛，梁克会，张育新，张瑞涛，沈刚，李广，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。