System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据迁移方法、装置、计算机设备和存储介质制造方法及图纸_技高网

数据迁移方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:41135120 阅读:4 留言:0更新日期:2024-04-30 18:06
本申请涉及一种数据迁移方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:在主集群发生故障时,获取所述主集群对应的备集群的属性信息;将所述主集群中的历史数据进行导出,根据所述属性信息将所述历史数据传输至所述属性信息对应的备集群,并获取所述主集群中的实时数据,将所述实时数据传输至所述备集群;将所述备集群作为副集群新的数据源,接管所述主集群的服务,对所述副集群进行实时数据传输。采用本方法能够提高数据仓库稳定性。

【技术实现步骤摘要】

本申请涉及大数据,特别是涉及一种数据迁移方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、随着数据库集群的发展,数据仓库的数据容量越来越大,随着数据量的暴增和数据实时性要求越来越高,导致集群中的数据库节点发生故障或者长时间停机操作,造成服务中断的问题,影响数据仓库的可用性。

2、传统技术中,在数据仓库发生故障时,即主数据库宕机或者发生故障时,在主集群中,确定与该主数据库所处的主节点对应的备节点,并将主节点中的未提交的事务和最新的数据更新同步到备节点,将其他节点与主节点之间的连接信息更新为与备节点相连接的信息。

3、然而,目前传统技术中,由于在主集群的全部节点均不可用时,导致备节点也不可用,无法实现对主集群的主节点进行主备切换,导致数据仓库稳定性较差。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种数据迁移方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面,本申请提供了一种数据迁移方法,包括:

3、在主集群发生故障时,获取所述主集群对应的备集群的属性信息;

4、将所述主集群中的历史数据进行导出,根据所述属性信息将所述历史数据传输至所述属性信息对应的备集群,并获取所述主集群中的实时数据,将所述实时数据传输至所述备集群;

5、将所述备集群作为副集群新的数据源,接管所述主集群的服务,对所述副集群进行实时数据传输。

6、在其中一个实施例中,所述在主集群发生故障时,获取所述主集群对应的备集群的属性信息之前,所述方法还包括:

7、向主集群发送并实时获取心跳信号;

8、基于所述主集群的心跳信号确定主集群的延迟信息,当所述延迟信息大于预设阈值时,将所述延迟信息进行展示于显示页面并发送告警信息。

9、在其中一个实施例中,所述将所述主集群中的历史数据进行导出,根据所述属性信息将所述历史数据传输至所述属性信息对应的备集群,并获取所述主集群中的实时数据,将所述实时数据传输至所述备集群,包括:

10、按照预设数据格式,对所述主集群中的历史数据进行导出,并根据所述属性信息中的标识确定备集群,并将导出后的所述历史数据按照预设数据格式传输至所述备集群;

11、获取实时数据,将所述实时数据存储至预设存储空间,并指示所述备集群启动实时程序;所述实时程序用于所述备集群实时接收所述实时数据。

12、在其中一个实施例中,所述将所述备集群作为副集群新的数据源,接管所述主集群的服务,对所述副集群进行实时数据传输,包括:

13、将所述主集群对应的副集群的第一连接信息更新为所述备集群对应的第二连接信息;

14、指示所述备集群向所述副集群进行数据同步,完成所述主集群向所述备集群的业务流量迁移。

15、在其中一个实施例中,所述方法还包括:

16、当所述主集群恢复为正常运行状态时,将实时数据同步回所述主集群,以所述主集群为数据源,对所述副集群进行实时数据传输。

17、在其中一个实施例中,所述在主集群发生故障时,获取所述主集群对应的备集群的属性信息之前,所述方法还包括:

18、在主集群正常运行时,按照第一预设周期,将所述主集群的全量数据备份至所述备集群;

19、按照第二预设周期,将所述主集群的增量数据备份至所述备集群。

20、第二方面,本申请还提供了一种数据迁移装置,包括:

21、获取模块,用于在主集群发生故障时,获取所述主集群对应的备集群的属性信息;

22、第一传输模块,用于将所述主集群中的历史数据进行导出,根据所述属性信息将所述历史数据传输至所述属性信息对应的备集群,并获取所述主集群中的实时数据,将所述实时数据传输至所述备集群;

23、第二传输模块,用于将所述备集群作为副集群新的数据源,接管所述主集群的服务,对所述副集群进行实时数据传输。

24、在其中一个实施例中,所述装置还包括:

25、发送模块,用于向主集群发送并实时获取心跳信号;

26、告警模块,用于基于所述主集群的心跳信号确定主集群的延迟信息,当所述延迟信息大于预设阈值时,将所述延迟信息进行展示于显示页面并发送告警信息。

27、在其中一个实施例中,所述第一传输模块具体用于按照预设数据格式,对所述主集群中的历史数据进行导出,并根据所述属性信息中的标识确定备集群,并将导出后的所述历史数据按照预设数据格式传输至所述备集群;

28、获取实时数据,将所述实时数据存储至预设存储空间,并指示所述备集群启动实时程序;所述实时程序用于所述备集群实时接收所述实时数据。

29、在其中一个实施例中,所述传输模块具体用于将所述主集群对应的副集群的第一连接信息更新为所述备集群对应的第二连接信息;

30、指示所述备集群向所述副集群进行数据同步,完成所述主集群向所述备集群的业务流量迁移。

31、在其中一个实施例中,所述装置还包括:

32、第三传输模块,用于当所述主集群恢复为正常运行状态时,将实时数据同步回所述主集群,以所述主集群为数据源,对所述副集群进行实时数据传输。

33、在其中一个实施例中,所述装置还包括:

34、第一备份模块,用于在主集群正常运行时,按照第一预设周期,将所述主集群的全量数据备份至所述备集群;

35、第二备份模块,用于按照第二预设周期,将所述主集群的增量数据备份至所述备集群。

36、第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

37、在主集群发生故障时,获取所述主集群对应的备集群的属性信息;

38、将所述主集群中的历史数据进行导出,根据所述属性信息将所述历史数据传输至所述属性信息对应的备集群,并获取所述主集群中的实时数据,将所述实时数据传输至所述备集群;

39、将所述备集群作为副集群新的数据源,接管所述主集群的服务,对所述副集群进行实时数据传输。

40、第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

41、在主集群发生故障时,获取所述主集群对应的备集群的属性信息;

42、将所述主集群中的历史数据进行导出,根据所述属性信息将所述历史数据传输至所述属性信息对应的备集群,并获取所述主集群中的实时数据,将所述实时数据传输至所述备集群;

43、将所述备集群作为副集群新的数据源,接管所述主集群的服务,对所述副集群进行实时数据传输。

44、第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:

45、在主集群发生故障时,获取所述主集群对应的备集本文档来自技高网...

【技术保护点】

1.一种数据迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述在主集群发生故障时,获取所述主集群对应的备集群的属性信息之前,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述主集群中的历史数据进行导出,根据所述属性信息将所述历史数据传输至所述属性信息对应的备集群,并获取所述主集群中的实时数据,将所述实时数据传输至所述备集群,包括:

4.根据权利要求1所述的方法,其特征在于,所述将所述备集群作为副集群新的数据源,接管所述主集群的服务,对所述副集群进行实时数据传输,包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1至5任意一项所述的方法,其特征在于,所述在主集群发生故障时,获取所述主集群对应的备集群的属性信息之前,所述方法还包括:

7.一种数据迁移装置,其特征在于,所述装置包括:

8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种数据迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述在主集群发生故障时,获取所述主集群对应的备集群的属性信息之前,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述主集群中的历史数据进行导出,根据所述属性信息将所述历史数据传输至所述属性信息对应的备集群,并获取所述主集群中的实时数据,将所述实时数据传输至所述备集群,包括:

4.根据权利要求1所述的方法,其特征在于,所述将所述备集群作为副集群新的数据源,接管所述主集群的服务,对所述副集群进行实时数据传输,包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6...

【专利技术属性】
技术研发人员:史娅楠张敏佳雷紫京
申请(专利权)人:中国人寿保险股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1