一种数据迁移方法、装置、电子设备以及存储介质制造方法及图纸

本申请提供了一种数据迁移方法、装置、电子设备以及存储介质。所述方法应用于数据迁移服务系统，所述方法包括：在第一集群中的源实例产生新的数据时，将所述新的数据作为所述源实例对应的待迁移数据；对于所述待迁移数据中各个类型的数据，采用预设同步方式，通过同步管道将所述数据存储到与数据的类型匹配的队列中；将各个所述队列中的数据输出到第二集群中的目标实例。通过该数据迁移方法，可以在第一集群中的源实例产生新的数据时，立即将新产生的数据同步迁移到第二集群中的目标实例中，实现了ElasticSearch集群之间的数据的实时迁移。移。移。

【技术实现步骤摘要】
一种数据迁移方法、装置、电子设备以及存储介质


[0001]本专利技术涉及数据处理
，特别是涉及一种数据迁移方法、装置、电子设备以及存储介质。

技术介绍

[0002]ElasticSearch集群实时数据同步迁移方法能在迁移网络环境复杂、性能要求较高、数据量大且难以启停服务的场景下实现业务7*24不间断服务。通常的ElasticSearch集群实时数据同步迁移方法采用集群自带的snapshot快照功能进行数据同步，它对集群本身性能要求较高，同时对网络稳定性要求较高，当发生网络抖动或遇到业务访问高峰期时，会对备份结果产生不稳定因素。其次，对于某些对集群依赖度较高的行业，在进行实时写入的情况下，无法做到按需快照还原。因此，如何实现多ElasticSearch集群下数据的实时迁移，成为亟待解决的问题。

技术实现思路

[0003]本申请实施例提供了一种数据迁移方法、装置、电子设备以及存储介质，可以在第一集群中的源实例产生新的数据时，立即将新产生的数据同步迁移到第二集群中的目标实例中，实现了ElasticSearch集群之间的数据的实时迁移。具体技术方案如下：
[0004]在本申请实施例的第一方面，首先提供了一种数据迁移方法，应用于数据迁移服务系统，所述方法包括：
[0005]在第一集群中的源实例产生新的数据时，将所述新的数据作为所述源实例对应的待迁移数据；
[0006]对于所述待迁移数据中各个类型的数据，采用预设同步方式，通过同步管道将所述数据存储到与数据的类型匹配的队列中；/>[0007]将各个所述队列中的数据输出到第二集群中的目标实例。
[0008]可选地，所述各个类型的数据包括正常数据和异常数据；对于所述待迁移数据中各个类型的数据，采用预设同步方式，通过同步管道将所述数据存储到与数据的类型匹配的队列中，包括：
[0009]对于所述待迁移数据中的正常数据，采用预设同步方式，通过同步管道将所述正常数据存储到第一队列中；
[0010]对于所述待迁移数据中的异常数据，采用预设同步方式，通过同步管道将所述异常数据存储到第二队列中。
[0011]可选地，在将各个所述队列中的数据输出到第二集群中的目标实例后，所述方法还包括：
[0012]在所述源实例的索引文件的总数量、所有文件的总数量以及每个索引文件中文件的数量，与所述目标实例的相应参数一致，且所述同步管道中输入文件的数量与输出文件的数量一致时，确定数据迁移成功。
[0013]可选地，所述方法还包括：
[0014]检测所述同步管道的运行状态是否正常；
[0015]通过同步管道将所述数据存储到与数据的类型匹配的队列中，包括：
[0016]在所述同步管道的运行状态正常时，通过同步管道将所述数据存储到与数据的类型匹配的队列中。
[0017]可选地，在通过同步管道将所述数据存储到与数据的类型匹配的队列的过程中，所述方法还包括：
[0018]根据所述源实例的索引文件的总数量、所有文件的总数量以及每个索引文件中文件的数量中的一者或多者，分别与所述目标实例的相应参数的对比结果，得到数据迁移进度；
[0019]输出所述数据迁移进度。
[0020]可选地，在通过同步管道将所述数据存储到与数据的类型匹配的队列的过程中，所述方法还包括：
[0021]获取所述第一集群中的源实例的Master节点状态，和所述第二集群中的目标实例的Master节点状态；
[0022]通过同步管道将所述数据存储到与数据的类型匹配的队列中，包括：
[0023]在所述源实例的Master节点状态和所述目标实例的Master节点状态均表示未重新选主时，通过同步管道将所述数据存储到与数据的类型匹配的队列中。
[0024]可选地，在通过同步管道将所述数据存储到与数据的类型匹配的队列之前，所述方法还包括：
[0025]对所述第一集群中的源实例、所述第二集群中的目标实例以及所述第一队列与所述第二队列所在的存储系统的存活状态进行检测；
[0026]通过同步管道将所述数据存储到与数据的类型匹配的队列中，包括：
[0027]在所述源实例、所述目标实例以及所述存储系统各自的存活状态均检测通过时，通过同步管道将所述数据存储到与数据的类型匹配的队列。
[0028]可选地，对于所述待迁移数据中各个类型的数据，采用预设同步方式，通过同步管道将所述数据存储到与数据的类型匹配的队列中，包括：
[0029]将全量同步、增量同步以及全量加增量同步中的任意一种方式确定为目标同步方式；
[0030]对于所述待迁移数据中各个类型的数据，采用所述目标同步方式，通过同步管道将所述数据存储到与数据的类型匹配的队列中。
[0031]在本申请实施例的第二方面，还提供了一种数据迁移装置，应用于数据迁移服务系统，所述装置包括：
[0032]第一确定模块，用于在第一集群中的源实例产生新的数据时，将所述新的数据作为所述源实例对应的待迁移数据；
[0033]存储模块，用于对于所述待迁移数据中各个类型的数据，采用预设同步方式，通过同步管道将所述数据存储到与数据的类型匹配的队列中；
[0034]第一输出模块，用于将各个所述队列中的数据输出到第二集群中的目标实例。
[0035]可选地，所述各个类型的数据包括正常数据和异常数据；所述存储模块包括：
[0036]第一存储子模块，用于对于所述待迁移数据中的正常数据，采用预设同步方式，通过同步管道将所述正常数据存储到第一队列中；
[0037]第二存储子模块，用于对于所述待迁移数据中的异常数据，采用预设同步方式，通过同步管道将所述异常数据存储到第二队列中。
[0038]可选地，所述装置还包括：
[0039]第二确定模块，用于在所述源实例的索引文件的总数量、所有文件的总数量以及每个索引文件中文件的数量，与所述目标实例的相应参数一致，且所述同步管道中输入文件的数量与输出文件的数量一致时，确定数据迁移成功。
[0040]可选地，所述装置还包括：
[0041]第一检测模块，用于检测所述同步管道的运行状态是否正常；
[0042]所述存储模块包括：
[0043]第三存储子模块，用于在所述同步管道的运行状态正常时，通过同步管道将所述数据存储到与数据的类型匹配的队列中。
[0044]可选地，所述装置还包括：
[0045]第一获取模块，用于根据所述源实例的索引文件的总数量、所有文件的总数量以及每个索引文件中文件的数量中的一者或多者，分别与所述目标实例的相应参数的对比结果，得到数据迁移进度；
[0046]第二输出模块，用于输出所述数据迁移进度。
[0047]可选地，所述装置还包括：
[0048]第二获取模块，用于获取所述第一集群中的源实例的Master节点状态，和所述第二集群中的目标实例的Master节点状态：
[0049]第四存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，其特征在于，应用于数据迁移服务系统，所述方法包括：在第一集群中的源实例产生新的数据时，将所述新的数据作为所述源实例对应的待迁移数据；对于所述待迁移数据中各个类型的数据，采用预设同步方式，通过同步管道将所述数据存储到与数据的类型匹配的队列中；将各个所述队列中的数据输出到第二集群中的目标实例。2.根据权利要求1所述的方法，其特征在于，所述各个类型的数据包括正常数据和异常数据；对于所述待迁移数据中各个类型的数据，采用预设同步方式，通过同步管道将所述数据存储到与数据的类型匹配的队列中，包括：对于所述待迁移数据中的正常数据，采用预设同步方式，通过同步管道将所述正常数据存储到第一队列中；对于所述待迁移数据中的异常数据，采用预设同步方式，通过同步管道将所述异常数据存储到第二队列中。3.根据权利要求1所述的方法，其特征在于，在将各个所述队列中的数据输出到第二集群中的目标实例后，所述方法还包括：在所述源实例的索引文件的总数量、所有文件的总数量以及每个索引文件中文件的数量，与所述目标实例的相应参数一致，且所述同步管道中输入文件的数量与输出文件的数量一致时，确定数据迁移成功。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：检测所述同步管道的运行状态是否正常；通过同步管道将所述数据存储到与数据的类型匹配的队列中，包括：在所述同步管道的运行状态正常时，通过同步管道将所述数据存储到与数据的类型匹配的队列中。5.根据权利要求1所述的方法，其特征在于，在通过同步管道将所述数据存储到与数据的类型匹配的队列的过程中，所述方法还包括：根据所述源实例的索引文件的总数量、所有文件的总数量以及每个索引文件中文件的数量中的一者或多者，分别与所述目标实例的相应参数的对比结果，得到数据迁移进度；输出所述数据迁移进度。6.根据权利要求1所述的方法，其特征在于，在通过同步管道将所述数据存储到与数据的类型匹配的队列的过程中，所述方法还包括：获取所述第一集群中的源实例的Master节点状态，和所述第二集群中的目标实例的Master节点状...

【专利技术属性】
技术研发人员：王金贺，刘明伟，刘竹青，任昊文，张凌志，姜唯，敖知琪，陈禹旭，
申请(专利权)人：南方电网数字电网研究院有限公司，
类型：发明
国别省市：