数据迁移方法、装置、电子设备及可读存储介质制造方法及图纸

本公开提供了数据迁移方法、装置、电子设备及可读存储介质，具体涉及云计算、云存储技术领域，可应用在智能云场景下。具体实现方案为：在执行数据迁移任务的过程中，依照预设的检测周期检测主节点的工作状态，数据迁移任务是由主节点发送的；响应于检测到主节点的工作状态为异常，暂停执行数据迁移任务；响应于接收到对数据迁移任务的执行请求，继续执行数据迁移任务，执行请求是响应于主节点的工作状态为正常，由主节点向从节点发送的。本方案中，从节点能够在主节点发生异常后暂停数据迁移任务，并在主节点恢复正常后继续执行数据迁移任务，能够快速、有效地完成数据迁移任务，保证数据迁移任务的处理效率。据迁移任务的处理效率。据迁移任务的处理效率。

【技术实现步骤摘要】
数据迁移方法、装置、电子设备及可读存储介质


[0001]本公开涉及人工智能
，具体涉及云计算、云存储
，可应用在智能云场景下。具体而言，本公开涉及一种数据迁移方法、装置、电子设备及可读存储介质。

技术介绍

[0002]云存储是一种网络存储技术，通过将资源存储在云端，便于对资源的管理。
[0003]云存储中，不同云内所存储的数据一般相互隔离的，存在将不同云内存储的数据进行迁移的需求。
[0004]相关技术中，一般会采用主从(Master
‑
Worker)模式进行数据迁移，即由主(master)节点管理和分发数据迁移任务，由从(worker)节点执行数据迁移任务。这种方式中主节点可能会发生异常，如何在主节点发生异常的情况下快速、有效地完成数据迁移任务，成为了一个重要的技术问题。

技术实现思路

[0005]本公开为了解决上述缺陷中的至少一项，提供了一种数据迁移方法、装置、电子设备及可读存储介质。
[0006]根据本公开的第一方面，提供了一种数据迁移方法，该方法包括：
[0007]在执行数据迁移任务的过程中，依照预设的检测周期检测主节点的工作状态，数据迁移任务是由主节点发送的；
[0008]响应于检测到主节点的工作状态为异常，暂停执行数据迁移任务；
[0009]响应于接收到对数据迁移任务的执行请求，继续执行数据迁移任务，执行请求是响应于主节点的工作状态为正常，由主节点向从节点发送的。
[0010]根据本公开的第二方面，提供了另一种数据迁移方法，该方法包括：
[0011]响应于主节点的工作状态由异常转为正常，确定在主节点的工作状态为异常时各从节点中处于执行过程中的数据迁移任务，数据迁移任务被从节点暂停执行；
[0012]向从节点发送对数据迁移任务的执行请求，以使从节点继续执行数据迁移任务。
[0013]根据本公开的第三方面，提供了一种数据迁移装置，该装置包括：
[0014]主节点工作状态确定模块，用于在执行数据迁移任务的过程中，依照预设的检测周期检测主节点的工作状态，数据迁移任务是由主节点发送的；
[0015]任务暂停模块，用于响应于检测到主节点的工作状态为异常，暂停执行数据迁移任务；
[0016]任务执行模块，用于响应于接收到对数据迁移任务的执行请求，继续执行数据迁移任务，执行请求是响应于主节点的工作状态为正常，由主节点向从节点发送的。
[0017]根据本公开的第四方面，提供了另一种数据迁移装置，该装置包括：
[0018]任务确定模块，用于响应于主节点的工作状态由异常转为正常，确定在主节点的工作状态为异常时各从节点中处于执行过程中的数据迁移任务，数据迁移任务被从节点暂
停执行；
[0019]任务重启模块，用于向从节点发送对数据迁移任务的执行请求，以使从节点继续执行数据迁移任务。
[0020]根据本公开的第五方面，提供了一种电子设备，该电子设备包括：
[0021]至少一个处理器；以及
[0022]与上述至少一个处理器通信连接的存储器；其中，
[0023]存储器存储有可被上述至少一个处理器执行的指令，指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述数据迁移方法。
[0024]根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行上述数据迁移方法。
[0025]根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述数据迁移方法。
[0026]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0027]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0028]图1是本公开实施例提供的一种数据迁移方法的流程示意图；
[0029]图2是本公开实施例提供的另一种数据迁移方法的流程示意图；
[0030]图3是本公开实施例提供的数据迁移方法的一种具体实施方式的流程示意图；
[0031]图4是本公开实施例提供的一种数据迁移装置的结构示意图；
[0032]图5是本公开实施例提供的另一种数据迁移装置的结构示意图；
[0033]图6是用来实现本公开实施例的数据迁移方法的电子设备的框图。
具体实施方式
[0034]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0035]云存储技术中，不同云内所存储的数据一般相互隔离的，而当存在数据容灾备份、业务迁移、架构调整等业务需求时，需要对不同云内存储的数据进行迁移。
[0036]相关技术中，一般会采用主从(Master
‑
Worker)模式进行数据迁移，即由主(master)节点管理和分发数据迁移任务，由从(worker)节点执行数据迁移任务。这种方式中主节点可能会发生异常，如何在主节点发生异常的情况下快速、有效地完成数据迁移任务，成为了一个重要的技术问题。
[0037]在主节点的工作状态为异常时，如果直接将从节点中正在执行的数据迁移任务丢弃，待到主节点的工作状态为正常后，重新分发数据迁移任务，这种方式会因丢弃从节点中正在执行的数据迁移任务，导致从节点的工作量的损失，造成对处理资源的浪费。
[0038]本公开实施例提供的数据迁移方法、装置、电子设备和计算机可读存储介质，旨在
解决现有技术的如上技术问题中的至少一个。
[0039]图1示出了本公开实施例提供的一种数据迁移方法的流程示意图，如图1中所示，该方法主要可以包括：
[0040]步骤S110:在执行数据迁移任务的过程中，依照预设的检测周期检测主节点的工作状态，数据迁移任务是由主节点发送的；
[0041]步骤S120:响应于检测到主节点的工作状态为异常，暂停执行数据迁移任务；
[0042]步骤S130:响应于检测到主节点的工作状态为异常，暂停执行数据迁移任务。
[0043]其中，数据迁移任务可以用于将待迁移文件由源端数据库迁移至目标端数据库，源端数据库与目标端数据库可以在不同的云上存储。
[0044]数据迁移任务的任务信息中可以包含待迁移文件的文件标识以及待迁移文件在源端数据库中的存储地址，使得从节点能够基于任务信息获取待迁移文件，并将其发送至目标端数据库存储。
[0045]本公开实施例提供的方案中，采用主从(Master
‑
Worker)模式进行数据迁移，其中，主(mast本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，包括：在执行数据迁移任务的过程中，依照预设的检测周期检测主节点的工作状态，所述数据迁移任务是由所述主节点发送的；响应于检测到所述主节点的工作状态为异常，暂停执行所述数据迁移任务；响应于接收到对所述数据迁移任务的执行请求，继续执行所述数据迁移任务，所述执行请求是响应于所述主节点的工作状态为正常，由所述主节点向从节点发送的。2.根据权利要求1所述的方法，在所述暂停执行所述数据迁移任务之后，所述方法还包括：确定所述数据迁移任务的执行进度；所述继续执行所述数据迁移任务，包括：基于所述执行进度继续执行所述数据迁移任务。3.根据权利要求2所述的方法，其中，所述数据迁移任务包括针对至少两个待迁移文件的子数据迁移任务，各所述子数据迁移任务依照其执行顺序构成子任务队列，所述确定所述数据迁移任务的执行进度，包括：确定所述子数据迁移任务中未被执行完成的目标子数据迁移任务；所述基于所述执行进度继续执行所述数据迁移任务，包括：依照所述子任务队列中的顺序依次执行所述目标子数据迁移任务。4.根据权利要求1
‑
3中任一项所述的方法，其中，所述依照预设的检测周期检测主节点的工作状态，包括：依照预设的检测周期向主节点发送心跳信息；基于接收到的回执信息是否满足预设的工作状态判断条件，确定所述主节点工作状态，所述回执信息是所述主节点响应于接收到心跳信息后返回的。5.根据权利要求1
‑
4中任一项所述的方法，其中，在执行所述数据迁移任务之前，所述方法还包括：向所述主节点发送心跳信息，接收所述数据迁移任务，所述数据迁移任务是所述主节点响应于接收到所述心跳信息返回的。6.根据权利要求1
‑
5中任一项所述的方法，其中，在所述数据迁移任务执行完成后，所述方法还包括：响应于所述数据迁移任务执行完成，将第一通知信息发送至所述主节点，以使所述主节点基于所述第一通知信息更新所述数据迁移任务的迁移进度。7.根据权利要求1
‑
6中任一项所述的方法，还包括：响应于所述数据迁移任务执行失败，将第二通知信息发送至所述主节点，以使所述主节点基于所述第二通知信息对所述数据迁移任务的再分发策略，所述第二通知信息中包括失败描述相关信息。8.根据权利要求1
‑
7中任一项所述的方法，其中，所述执行所述数据迁移任务，包括：从源端数据库获取待迁移文件以及所述待迁移文件的特征信息，所述特征信息用于对所述待迁移文件的校验；将所述待迁移文件以及所述特征信息发送至数据写入节点，以使所述数据写入节点基于所述特征信息对所述迁移文件进行校验，并在校验通过后将所述待迁移文件写入目标端
数据库。9.一种数据迁移方法，包括：响应于主节点的工作状态由异常转为正常，确定在所述主节点的工作状态为异常时各从节点中处于执行过程中的数据迁移任务，所述数据迁移任务被所述从节点暂停执行；向所述从节点发送对所述数据迁移任务的执行请求，以使所述从节点继续执行所述数据迁移任务。10.根据权利要求9所述的方法，其中，还包括：响应于接收到用户发起的数据迁移请求，获取所述数据迁移请求中携带的任务信息；基于所述任务信息生成数据...

【专利技术属性】
技术研发人员：李成蒙，贾宝雷，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：