集群数据迁移方法、装置、电子设备和存储介质制造方法及图纸

本公开关于集群数据迁移方法、装置、电子设备和存储介质，该方法包括：在将目标数据从源数据集群迁移到目标数据集群的过程中，设置目标数据的读写地址为源数据集群对应的数据地址，在数据迁移完成后，更新目标数据的读写地址为目标数据集群对应的数据地址，从而指示生产者和消费者在数据迁移过程中以及数据迁移完成之后，写入数据或读取数据的位置。该方法可以在执行数据迁移的过程中，使得消费者和生产者在执行各自的业务的过程中对数据迁移业务无感，从而无需业务方配合进行数据迁移，降低了人力成本并提高了数据迁移的效率，可以完成数据在各个集群间的无缝迁移。完成数据在各个集群间的无缝迁移。完成数据在各个集群间的无缝迁移。

【技术实现步骤摘要】
集群数据迁移方法、装置、电子设备和存储介质


[0001]本公开涉及大数据
，尤其涉及集群数据迁移方法、装置、电子设备和存储介质。

技术介绍

[0002]由于业务数据的增长以及集群扩容的限制，需要通过数据迁移的方式，将一些数据从一个数据集群迁移到另一个数据集群中，相关技术中，在进行数据迁移时，通过人力迁移的方式或者通过双消费切换集群的方式，需要业务方对数据迁移进行配合，从而影响到消费者方的业务以及生产者方的业务，且会耗费人力成本和时间成本，导致数据迁移的效率低。

技术实现思路

[0003]本公开提供集群数据迁移方法、装置、电子设备和存储介质，以至少解决相关技术中数据迁移耗费人力成本和时间成本，且数据迁移的效率低的问题。本公开的技术方案如下：
[0004]根据本公开实施例的第一方面，提供一种集群数据迁移方法，该方法包括：
[0005]在源数据集群中目标数据向所述目标数据集群迁移的过程中，将所述目标数据对应的读写地址设置为所述源数据集群对应的地址信息；
[0006]在所述目标数据的迁移时间大于预设迁移时间的情况下，关闭所述源数据集群对应的数据写入功能，所述预设迁移时间为所述源数据集群中数据的消费延迟时间；
[0007]在所述目标数据被完全迁移至所述目标数据集群的情况下，将所述目标数据对应的读写地址更新为所述目标数据集群对应的地址信息。
[0008]作为一个可选的实施例，所述在所述目标数据被完全迁移至所述目标数据集群之前，所述方法还包括：
[0009]接收基于所述源数据集群中的源数据节点转发的，消费者发送的第一地址获取请求；
[0010]在所述目标数据的迁移状态信息为数据迁移过程中的情况下，基于所述源数据集群对应的地址信息，在所述源数据集群中，确定所述第一地址获取请求对应的待处理数据的第一节点地址信息；
[0011]基于所述源数据节点向所述消费者转发所述第一节点地址信息，所述第一节点地址信息用于指示所述消费者从所述第一节点地址信息对应的第一数据节点中读取所述待处理数据。
[0012]作为一个可选的实施例，向所述源数据集群的数据节点发送所述第一节点地址信息，并通过所述源数据节点向所述消费者转发所述第一节点地址信息之后，所述方法还包括：
[0013]接收基于所述第一数据节点转发的，所述消费者发送的第一进度获取请求；
[0014]在所述待处理数据的迁移状态信息为数据迁移过程中的情况下，从所述源数据集群中确定所述消费者对应的第一数据处理进度；
[0015]基于所述第一数据节点向所述消费者转发所述第一数据处理进度，所述第一数据处理进度用于指示所述消费者从所述第一数据节点存储的数据中确定所述待处理数据。
[0016]作为一个可选的实施例，所述在所述目标数据被完全迁移至所述目标数据集群之后，所述方法还包括：
[0017]接收基于所述源数据节点转发的，所述消费者发送的第二地址获取请求；
[0018]在所述目标数据的迁移状态信息为完成数据迁移的情况下，基于所述目标数据集群对应的地址信息，在所述目标数据集群中，确定所述第二地址获取请求对应的待处理数据的第二节点地址信息；
[0019]基于所述源数据节点向所述消费者转发所述第二节点地址信息，所述第二节点地址信息用于指示所述消费者和所述第二节点地址信息对应的第二数据节点建立订阅关系，并从所述第二数据节点中读取所述待处理数据。
[0020]作为一个可选的实施例，向所述源数据集群的数据节点发送所述第二节点地址信息，并通过所述源数据节点向所述消费者转发所述第二节点地址信息之后，所述方法还包括：
[0021]接收基于所述第二数据节点转发的，所述消费者发送的第二进度获取请求；
[0022]在所述待处理数据的迁移状态信息为完成数据迁移的情况下，从所述源数据集群中确定所述消费者对应的第二数据处理进度；
[0023]基于所述第二数据节点向所述消费者转发所述第二数据处理进度，所述第二数据处理进度用于指示所述消费者从所述第二数据节点存储的数据中确定所述待处理数据。
[0024]作为一个可选的实施例，在关闭所述源数据集群对应的数据写入功能之前，所述方法还包括：
[0025]接收基于源数据节点转发的，生产者发送的第三地址获取请求；
[0026]在所述目标数据的迁移状态信息为数据迁移过程中的情况下，基于所述源数据集群对应的地址信息，在所述目标数据集群中确定所述第三地址获取请求对应的第三节点地址信息；
[0027]基于所述源数据节点向所述生产者转发所述第三节点地址信息，所述第三节点地址信息用于指示所述生产者向所述第三节点地址信息对应的第三数据节点执行数据写入。
[0028]作为一个可选的实施例，在关闭所述源数据集群对应的数据写入功能之后，所述方法还包括：
[0029]接收基于源数据节点转发的，所述生产者发送的第四地址获取请求；
[0030]在所述目标数据的迁移状态信息为完成数据迁移的情况下，基于所述目标数据集群对应的地址信息，在所述目标数据集群中确定所述第四地址获取请求对应的第四节点地址信息；
[0031]基于所述源数据节点向所述生产者转发所述第四节点地址信息，所述第四节点地址信息用于指示所述生产者和所述第四节点地址信息对应的第四数据节点建立发布关系，并向所述第四数据节点执行数据写入。
[0032]作为一个可选的实施例，所述在所述目标数据进行迁移的时间大于预设迁移时间
的情况下，关闭所述源数据集群对应的数据写入功能包括：
[0033]在所述目标数据进行迁移的时间大于预设迁移时间的情况下，确定所述源数据集群和所述目标数据集群分别对应的数据处理状态；
[0034]确定所述目标数据集群对应的数据迁移状态；
[0035]在所述数据处理状态为目标处理状态，且所述数据迁移状态为目标迁移状态的情况下，关闭所述源数据集群对应的数据写入功能。根据本公开实施例的第二方面，提供一种集群数据迁移方法，所述方法包括；
[0036]基于已迁移数据对应的数据迁移进度，从源数据集群中的目标数据中获取当前迁移数据，所述当前迁移数据为所述数据迁移进度和所述源数据集群对应的数据写入进度间的差异数据；
[0037]基于所述当前迁移数据，更新所述已迁移数据和所述数据迁移进度，在所述目标数据迁移的过程中，所述目标数据对应的读写地址为所述源数据集群对应的地址信息，在所述目标数据迁移结束后，所述目标数据对应的读写地址为目标数据集群对应的地址信息。
[0038]根据本公开实施例的第三方面，提供一种集群数据迁移装置，所述装置包括；
[0039]数据地址设置模块，被配置为执行在将源数据集群中目标数据向所述目标数据集群迁移的过程中，将所述目标数据对应的读写地址设置为所述源数据集群对应的地址信息；
[0040]写入功能关闭模块，被配置为执行在所述目标数据进行迁移的时间大于预设迁移时间的情况下，关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集群数据迁移方法，其特征在于，所述方法包括：在源数据集群中目标数据向所述目标数据集群迁移的过程中，将所述目标数据对应的读写地址设置为所述源数据集群对应的地址信息；在所述目标数据的迁移时间大于预设迁移时间的情况下，关闭所述源数据集群对应的数据写入功能，所述预设迁移时间为所述源数据集群中数据的消费延迟时间；在所述目标数据被完全迁移至所述目标数据集群的情况下，将所述目标数据对应的读写地址更新为所述目标数据集群对应的地址信息。2.根据权利要求1所述的集群数据迁移方法，其特征在于，所述在所述目标数据被完全迁移至所述目标数据集群之前，所述方法还包括：接收基于所述源数据集群中的源数据节点转发的，消费者发送的第一地址获取请求；在所述目标数据的迁移状态信息为数据迁移过程中的情况下，基于所述源数据集群对应的地址信息，在所述源数据集群中，确定所述第一地址获取请求对应的待处理数据的第一节点地址信息；基于所述源数据节点向所述消费者转发所述第一节点地址信息，所述第一节点地址信息用于指示所述消费者从所述第一节点地址信息对应的第一数据节点中读取所述待处理数据。3.根据权利要求2所述的集群数据迁移方法，其特征在于，向所述源数据集群的数据节点发送所述第一节点地址信息，并通过所述源数据节点向所述消费者转发所述第一节点地址信息之后，所述方法还包括：接收基于所述第一数据节点转发的，所述消费者发送的第一进度获取请求；在所述待处理数据的迁移状态信息为数据迁移过程中的情况下，从所述源数据集群中确定所述消费者对应的第一数据处理进度；基于所述第一数据节点向所述消费者转发所述第一数据处理进度，所述第一数据处理进度用于指示所述消费者从所述第一数据节点存储的数据中确定所述待处理数据。4.一种集群数据迁移方法，其特征在于，所述方法包括：基于已迁移数据对应的数据迁移进度，从源数据集群中的目标数据中获取当前迁移数据，所述当前迁移数据为所述数据迁移进度和所述源数据集群对应的数据写入进度间的差异数据；基于所述当前迁移数据，更新所述已迁移数据和所述数据迁移进度，在所述目标数据迁移的过程中，所述目标数据对应的读写地址为所述源数据集群对应的地址信息，在所述目标数据迁移结束后，所述目标数据对应的读写地址为目标数据集群对应的地址信息。5.一种集群数据迁移控制装置，其特征在于，所述装置包括：数据地址设置模块，被配置为执行在将源数据集群中目标数据向所述目标数据集群迁移的过程中，将所述目标数据对应的读写地址设置为所述源数据集群对应的地址信息；写入功能关闭模块，被配置为执行在所述...

【专利技术属性】
技术研发人员：陈春斌，胡德祺，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：