数据迁移方法、装置、服务器及存储介质制造方法及图纸

技术编号:32202443 阅读:16 留言:0更新日期:2022-02-09 17:07
本公开关于一种数据迁移方法、装置、服务器及存储介质,应用于集群外的控制中心,所述方法包括:响应于数据迁移请求,数据迁移请求携带源集群标识和目标集群标识,生成数据迁移指令;将数据迁移指令发送至与目标集群标识对应的目标集群,数据迁移指令用于指示目标集群从源集群标识对应的源集群中获取待迁移数据;当数据迁移完成时接收源集群和目标集群的元数据信息。该方法通过引入控制中心,当数据迁移完成后,在控制中心中统一保存集群中的子集群对应的元数据信息,可以保证元数据信息的准确性。通过控制中心统一处理客户端元数据请求,可以简化数据迁移流程,且节约数据迁移耗费的人力和时间等成本。费的人力和时间等成本。费的人力和时间等成本。

【技术实现步骤摘要】
数据迁移方法、装置、服务器及存储介质


[0001]本公开涉及数据处理
,尤其涉及一种数据迁移方法、装置、服务器及存储介质。

技术介绍

[0002]一般企业的消息队列分布服务(kafka)分布在多个机房,每个机房包含多个集群。对于同一个集群,随着集群中数据量的增长,往往需要对集群进行扩容或者数据迁移,从而缓解集群的压力。
[0003]而在一些场景中,由于集群所在机房经常因机架位设置不够而不能对集群进行扩容,因此,可以采用topic(主题)迁移的方式解决集群中数据量过大的问题。但是,相关技术中,将主题从源集群(转出数据的集群)迁移至目标集群(转入数据的集群)后,源集群和目标集群中的元数据信息会相应改变,因此,需要单独将订阅该主题的客户端中配置的源集群地址变更至目标集群地址,使客户端能够获取正确的元数据信息,存在操作麻烦且人力和时间成本耗费较大的问题。

技术实现思路

[0004]本公开提供一种数据迁移方法、装置、服务器及存储介质,以至少解决相关技术中对集群中的数据进行迁移操作麻烦且人力和时间成本耗费较大的问题。本公开的技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法,其特征在于,应用于集群外的控制中心,所述方法包括:响应于数据迁移请求,所述数据迁移请求携带源集群标识和目标集群标识,生成数据迁移指令;将所述数据迁移指令发送至与所述目标集群标识对应的目标集群,所述数据迁移指令用于指示所述目标集群从所述源集群标识对应的源集群中获取待迁移数据;当数据迁移完成时接收所述源集群和所述目标集群的元数据信息。2.根据权利要求1所述的数据迁移方法,其特征在于,所述数据迁移请求中还携带有待迁移主题标识;所述将所述数据迁移指令发送至与所述目标集群标识对应的目标集群,包括:根据所述待迁移主题标识在所述目标集群中创建用于存储所述待迁移数据的目标主题;将所述数据迁移指令发送至所述目标集群,所述数据迁移指令用于指示所述目标集群从所述源集群中获取所述待迁移主题标识对应的待迁移数据,并将所述待迁移数据保存至所述目标主题中。3.根据权利要求2所述的数据迁移方法,其特征在于,在数据迁移过程中,待迁移主题的状态为读写状态,所述目标主题的状态为只读状态。4.根据权利要求3所述的数据迁移方法,其特征在于,所述方法还包括:当数据迁移完成时更新所述目标主题的状态为读写状态,更新所述待迁移主题的状态为禁用状态。5.根据权利要求2所述的数据迁移方法,其特征在于,所述当数据迁移完成时接收所述源集群和所述目标集群的元数据信息,包括:在数据迁移过程中,接收所述源集群发送的待迁移主题和所述目标主题的数据同步结果;当根据所述数据同步结果,确定所述待迁移主题与所述...

【专利技术属性】
技术研发人员:洪亮陈春斌陈林王金龙赵博胡德祺
申请(专利权)人:北京达佳互联信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1