迁移数据的方法、装置、电子设备和可读存储介质制造方法及图纸

本发明专利技术提供一种迁移数据的方法、装置、电子设备和可读存储介质，能够解决数据迁移过程中，业务应用长时间停写问题，从而实现业务应用不停写的无缝迁移数据。该方法包括：配置集群间复制服务，并暂停复制服务；创建所述源集群当前时刻的数据的快照，并将所述快照导出到目标集群；利用所述快照更新所述目标集群的数据，更新完成之后，重启复制服务；在所述目标集群中回放暂停复制服务期间关于业务应用对源集群的操作，并将所述操作写入目标集群。

【技术实现步骤摘要】
迁移数据的方法、装置、电子设备和可读存储介质
本专利技术涉及计算机
，尤其涉及一种迁移数据的方法、装置、电子设备和可读存储介质。
技术介绍
由于数据量增长、大数据普及，越来越多的业务系统选择使用数据库集群作为存储。随着集群的数量和规模的扩大，涉及的集群间数据迁移不断增多。现有技术的集群间数据迁移通常是利用Distcp(Distcp，即分布式拷贝，是用于大规模集群内部和集群之间拷贝的工具)工具拷贝文件的方式进行，并在目标集群执行数据加载实现迁移。以HBase(一种分布式的、面向列的开源数据库)集群为例，现有技术的迁移数据的过程大致如图1所示。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：Distcp工具在操作前需要禁用表，确保没有数据写入。因此，数据迁移过程中业务应用需要长时间停止写。这就会对线上业务的使用产生影响，形成不好的用户体验，同时也无法满足业务应用对数据库集群高可用的要求。
技术实现思路
有鉴于此，本专利技术实施例提供一种迁移数据的方法、装置、电子设备和可读存储介质，能够解决数据迁移过程中，业务应用长时间停写问题，从而实现业务应用不停写的无缝迁移数据。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种迁移数据的方法。本专利技术实施例的一种迁移数据的方法包括：配置集群间复制服务，并暂停复制服务，其中，所述复制服务是将关于业务应用对源集群的操作发送至目标集群，目标集群回放所述操作并将所述操作写入目标集群，所述暂停复制服务是指保留业务应用对源集群的操作暂不发送至目标集群；创建所述源集群当前时刻的数据的快照，并将所述快照导出到目标集群；利用所述快照更新所述目标集群的数据，更新完成之后，重启复制服务；在所述目标集群中回放暂停复制服务期间关于业务应用对源集群的操作，并将所述操作写入目标集群。可选地，所述集群为HBase集群。可选地，配置集群间复制服务包括：配置Replication队列，将所述源集群的WAL日志通过Replication队列发送至所述目标集群，其中，所述WAL日志用于保存业务应用对源集群的操作；以及在所述目标集群回放所述WAL日志，以将业务应用对所述源集群的操作更新至目标集群。可选地，所述方法还包括：在暂停复制服务期间，所述源集群保留所述WAL日志。可选地，利用所述快照更新所述目标集群的数据包括：利用所述快照更新所述目标集群的表的定义；恢复表的Region信息；以及下线变化的Region，更新meta表的信息。为实现上述目的，根据本专利技术实施例的另一个方面，提供了一种迁移数据的装置。本专利技术实施例的一种迁移数据的装置包括：配置模块，用于配置集群间复制服务，并暂停复制服务，其中，所述复制服务是将关于业务应用对源集群的操作发送至目标集群，目标集群回放所述操作并将所述操作写入目标集群，所述暂停复制服务是指保留业务应用对源集群的操作暂不发送至目标集群；快照模块，用于创建所述源集群当前时刻的数据的快照，并将所述快照导出到目标集群；更新模块，用于利用所述快照更新所述目标集群的数据，更新完成之后，重启复制服务；复制模块，用于在所述目标集群中回放暂停复制服务期间关于业务应用对源集群的操作，并将所述操作写入目标集群。可选地，所述集群为HBase集群。可选地，所述配置模块还用于：配置Replication队列，将所述源集群的WAL日志通过Replication队列发送至所述目标集群，其中，所述WAL日志用于保存业务应用对源集群的操作；以及在所述目标集群回放所述WAL日志，以将业务应用对所述源集群的操作更新至目标集群。可选地，所述配置模块还用于：在暂停复制服务期间，所述源集群保留所述WAL日志。可选地，所述更新模块还用于：利用所述快照更新所述目标集群的表的定义；恢复表的Region信息；以及下线变化的Region，更新meta表的信息。为实现上述目的，根据本专利技术实施例的再一方面，提供了一种电子设备。本专利技术实施例的一种电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术实施例的迁移数据的方法。为实现上述目的，根据本专利技术实施例的又一方面，提供了一种非暂态计算机可读存储介质。本专利技术实施例的一种非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行本专利技术实施例的迁移数据的方法。上述专利技术中的一个实施例具有如下优点或有益效果：通过利用快照和复制相结合方式，从而能够使得数据迁移过程业务应用不需要停写，进而实现在对业务应用不产生影响的情况下完成业务应用数据的无缝迁移；通过在暂停复制服务期间，将WAL日志暂时积压在Replication队列中，从而使得未复制的WAL日志不会删除，且在重启复制服务之后，能够使积压的数据操作继续被消费并完成复制；通过在源集群上创建待迁移表的在线快照，鉴于创建快照不会影响源集群表的读写，且导出快照是HDFS层面的，从而可以保障在利用快照迁移数据的过程中，将对集群性能的影响降至最小；通过在快照数据迁移完成后，重新开启源集群的复制服务，消费迁移快照期间源集群Replication队列积压的WAL日志，完成增量数据的迁移，从而能够使得源集群和目标集群的数据达到最终一致。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是现有技术的数据迁移的方法的流程示意图；图2是根据本专利技术实施例的一种迁移数据的方法的主要步骤的示意图；图3是根据本专利技术实施例的一种迁移数据的方法的主要流程示意图；图4是根据本专利技术实施例的一种迁移数据的装置的主要模块的示意图；图5是根据本专利技术实施例的一种迁移数据的电子设备的硬件结构示意图；图6示意性示出了可以实现根据本专利技术的实施方式的终端设备或服务器的计算机系统的结构示意图。具体实施方式以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。为了解决现有技术数据迁移过程中，业务应用需要长时间停写问题，本专利技术实施例提供了一种迁移数据的技术方案，通过快照和复制结合的方式实现业务应用不停写的数据无缝迁移。本专利技术实施例中，业务应用可以安装在终端设备上，借助终端设备与源数据库集群进行通信，通信时所使用的网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。其中，终端设备可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(MovingPictureExpertsGroupAudioLayerIII，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExpertsGroupAudioLayerIV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。终端设备上可以安装有各种通讯客户端应用，例如网页浏览器应本文档来自技高网...

【技术保护点】
1.一种迁移数据的方法，其特征在于，包括：配置集群间复制服务，并暂停复制服务，其中，所述复制服务是将关于业务应用对源集群的操作发送至目标集群，目标集群回放所述操作并将所述操作写入目标集群，所述暂停复制服务是指保留业务应用对源集群的操作暂不发送至目标集群；创建所述源集群当前时刻的数据的快照，并将所述快照导出到目标集群；利用所述快照更新所述目标集群的数据，更新完成之后，重启复制服务；在所述目标集群中回放暂停复制服务期间关于业务应用对源集群的操作，并将所述操作写入目标集群。

【技术特征摘要】
1.一种迁移数据的方法，其特征在于，包括：配置集群间复制服务，并暂停复制服务，其中，所述复制服务是将关于业务应用对源集群的操作发送至目标集群，目标集群回放所述操作并将所述操作写入目标集群，所述暂停复制服务是指保留业务应用对源集群的操作暂不发送至目标集群；创建所述源集群当前时刻的数据的快照，并将所述快照导出到目标集群；利用所述快照更新所述目标集群的数据，更新完成之后，重启复制服务；在所述目标集群中回放暂停复制服务期间关于业务应用对源集群的操作，并将所述操作写入目标集群。2.根据权利要求1所述的方法，其特征在于，所述集群为HBase集群。3.根据权利要求1所述的方法，其特征在于，配置集群间复制服务包括：配置Replication队列，将所述源集群的WAL日志通过Replication队列发送至所述目标集群，其中，所述WAL日志用于保存业务应用对源集群的操作；以及在所述目标集群回放所述WAL日志，以将业务应用对所述源集群的操作更新至目标集群。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在暂停复制服务期间，所述源集群保留所述WAL日志。5.根据权利要求1所述的方法，其特征在于，利用所述快照更新所述目标集群的数据包括：利用所述快照更新所述目标集群的表的定义；恢复表的Region信息；以及下线变化的Region，更新meta表的信息。6.一种迁移数据的装置，其特征在于，包括：配置模块，用于配置集群间复制服务，并暂停复制服务，其中，所述复制服务是将关于业务应用对源集群的操作发送至目标集群，目标集群回放所述操作并将所述操作写入目标集群，所述暂停复制服务是指...

【专利技术属性】
技术研发人员：温帮，彭兴勃，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11