数据迁移方法、装置、存储介质及数据迁移设备制造方法及图纸

本申请公开了一种数据迁移方法、装置、存储介质及数据迁移设备，该数据迁移方法应用于数据迁移系统，该数据迁移系统包括源集群、目标集群和消息队列，该数据迁移方法包括：获取迁移指令，并根据迁移指令将存量数据由源集群同步至目标集群，以及将增量数据写入源集群和目标集群；当增量数据写入目标集群发生异常时，将增量数据中写入目标集群发生异常的数据确定为目标数据，并将目标数据写入消息队列；获取合并指令，并根据合并指令和目标数据的数据版本将目标数据合并至目标集群，从而提高数据迁移的效率，且减少了数据迁移过程中用户的参与度。参与度。参与度。

【技术实现步骤摘要】
数据迁移方法、装置、存储介质及数据迁移设备


[0001]本申请涉及通信
，具体涉及一种数据迁移方法、装置、存储介质及数据迁移设备。

技术介绍

[0002]Elasticsearch是常用的大数据搜索引擎，其具有大型的分布式集群(数百台服务器)技术，在Elasticsearch版本升级时，需要将数据从低版本集群迁移至高版本集群。
[0003]目前，主要通过业务方双写以及增量消息回流的方式进行集群数据迁移，即将增量数据全部写入消息队列，当存量数据导入高版本集群后，通过消息回流的方式将增量数据补偿至低版本集群和高版本集群，导致数据更新延迟，并且，这种方式需要业务方修改代码和操作，导致数据迁移的效率较低。

技术实现思路

[0004]本申请提供了一种数据迁移方法、装置、存储介质及数据迁移设备，从而提高数据迁移的效率，且减少了数据迁移过程中用户的参与度，使得数据迁移更加智能化。
[0005]本申请提供了一种数据迁移方法，应用于数据迁移系统，所述数据迁移系统包括源集群、目标集群和消息队列，所述数据迁移方法包括：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，其特征在于，应用于数据迁移系统，所述数据迁移系统包括源集群、目标集群和消息队列，所述数据迁移方法包括：获取迁移指令，并根据所述迁移指令将存量数据由所述源集群同步至所述目标集群，以及将增量数据写入所述源集群和所述目标集群；当所述增量数据写入所述目标集群发生异常时，将所述增量数据中写入所述目标集群发生异常的数据确定为目标数据，并将目标数据写入所述消息队列；获取合并指令，并根据所述合并指令和所述目标数据的数据版本将所述目标数据合并至所述目标集群。2.根据权利要求1所述的数据迁移方法，其特征在于，所述将目标数据写入消息队列，具体包括：根据所述目标数据生成事务日志，所述事务日志包括所述目标数据以及所述目标数据的第一数据标识和第一数据版本；将所述事务日志写入所述消息队列。3.根据权利要求2所述的数据迁移方法，其特征在于，所述根据所述合并指令和所述目标数据的数据版本将所述目标数据合并至所述目标集群，包括：根据所述第一数据标识确定所述目标集群中与所述目标数据对应的第一数据；根据所述目标数据、所述第一数据版本和所述第一数据的第二数据版本，将所述目标数据合并至所述目标集群。4.根据权利要求3所述的数据迁移方法，其特征在于，所述根据所述目标数据、所述第一数据版本和所述第一数据的第二数据版本，将所述目标数据合并至所述目标集群，具体包括：若所述第一数据版本不高于所述第二数据版本，则将所述目标数据舍弃，并将所述事务日志从所述消息队列中删除；若所述第一数据版本高于所述第二数据版本，则使用所述目标数据覆盖所述第一数据。5.根据权利要求2所述的数据迁移方法，其特征在于，所述事务日志中还记录有所述目标数据的写入时间，所述数据迁移方法还包括：根据所述写入时间确定所述目标数据的生存时长；若所述生存时长大于阈值，则将所述事务日志从所述消息队列中删除。6.根据权利要求1所述的数据迁移方法，其特征在于，所述将所述增量数据写入所述源集群和所述目标集群，具体包括：将所述增量数据写入所述源集群，并获取写入结果；若所述写入结果指示所述增量数据写入所述源集群成功，则根据所述增量数据的第二数据标识、第三数...

【专利技术属性】
技术研发人员：李其霖，胡威，徐小龙，毛铁中，
申请(专利权)人：众安在线财产保险股份有限公司，
类型：发明
国别省市：