集群间数据迁移的方法、装置、存储介质以及电子设备制造方法及图纸

本发明专利技术公开了一种集群间数据迁移的方法、装置、存储介质以及电子设备。该方法包括：查找第一集群中待迁移数据的第一索引；查找第一索引的主分片；对主分片和主分片对应的存储路径下的第一数据进行压缩，得到压缩数据；将压缩数据采用断点续传的方式传输给第二集群；对传输到第二集群的压缩数据进行解压缩，得到第一数据与主分片；将第一数据存储到第二集群中与主分片对应的存储路径下。本发明专利技术解决了集群间迁移数据效率低的技术问题。迁移数据效率低的技术问题。迁移数据效率低的技术问题。

【技术实现步骤摘要】
集群间数据迁移的方法、装置、存储介质以及电子设备


[0001]本专利技术涉及计算机领域，具体而言，涉及一种集群间数据迁移的方法、装置、存储介质以及电子设备。

技术介绍

[0002]现有技术中，在集群之间迁移数据的时候，可以通过分布式引擎(ElasticSearch，ES)提供的reindex进行跨集群的方式迁移，或者通过写程序，调用reindex进行迁移。
[0003]然而，上述方法往往迁移的速度很慢，而且当一个索引的reindex失败了，需要重头开始迁移该索引。

技术实现思路

[0004]本专利技术实施例提供了一种集群间数据迁移的方法、装置、存储介质以及电子设备，以至少解决集群间迁移数据效率低的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种集群间数据迁移的方法，包括：查找第一集群中待迁移数据的第一索引；查找上述第一索引的主分片；对上述主分片和上述主分片对应的存储路径下的第一数据进行压缩，得到压缩数据；将上述压缩数据采用断点续传的方式传输给第二集群；对传输到上述第二集群的上述压缩数据进行解压缩，得到上述第一数据；将上述第一数据存储到上述第二集群中与上述主分片对应的存储路径下。
[0006]根据本专利技术实施例的另一方面，提供了一种集群间数据迁移的装置，包括：第一查找模块，用于查找第一集群中待迁移数据的第一索引；第二查找模块，用于查找上述第一索引的主分片；压缩模块，用于对上述主分片和上述主分片对应的存储路径下的第一数据进行压缩，得到压缩数据；传输模块，用于将上述压缩数据采用断点续传的方式传输给第二集群；解压缩模块，用于对传输到上述第二集群的上述压缩数据进行解压缩，得到上述第一数据；存储模块，用于将上述第一数据存储到上述第二集群中与上述主分片对应的存储路径下。
[0007]作为一种可选的示例，上述第一查找模块包括：调整单元，用于将上述待迁移数据的所有索引中，索引状态为关闭的索引的索引状态调整为打开，其中，所述索引状态为关闭的索引禁止读写；第一确定单元，用于将上述所有索引中，每一个上述索引状态为打开的索引作为一个上述第一索引。
[0008]作为一种可选的示例，上述压缩模块包括：压缩单元，用于将每一个上述第一索引作为当前索引，将上述当前索引的主分片和上述当前索引的上述主分片对应的存储路径下的上述第一数据压缩为一个压缩数据包。
[0009]作为一种可选的示例，上述传输模块包括：第二确定单元，用于确定上述压缩数据在上述第一集群中所在的第一集群服务器；映射单元，用于在上述第二集群中确定与上述第一集群服务器映射的第二集群服务器；迁移单元，用于将上述压缩数据从上述第一集群服务器迁移到上述第二集群服务器。
[0010]作为一种可选的示例，上述映射单元包括：映射子单元，用于为每一个第一集群服务器在所述第二集群中确定出一个集群服务器作为所述第二集群服务器；或者在所述第二集群中确定出1个集群服务器作为所述第二集群服务器。
[0011]作为一种可选的示例，上述传输模块包括：传输单元，用于将所述压缩数据划分为多个部分；将所述多个部分中的每一个部分按照顺序传输到所述第二集群中；在所述压缩数据中的当前部分传输失败的情况下，在再次传输所述压缩数据时，从所述压缩数据的当前部分，继续向所述第二集群传输所述压缩数据。
[0012]作为一种可选的示例，上述装置还包括：处理模块，用于在将上述待迁移数据存储到上述第二集群中与上述主分片对应的存储路径下之后，删除上述主分片的状态目录；在删除所述状态目录成功的情况下，调用加载接口将所述第一索引刷新到所述第二集群中。
[0013]根据本专利技术实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被处理器运行时执行上述集群间数据迁移的方法。
[0014]根据本专利技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的集群间数据迁移的方法。
[0015]在本专利技术实施例中，采用了查找第一集群中待迁移数据的第一索引；查找上述第一索引的主分片；对上述主分片和上述主分片对应的存储路径下的第一数据进行压缩，得到压缩数据；将上述压缩数据采用断点续传的方式传输给第二集群；对传输到上述第二集群的上述压缩数据进行解压缩，得到上述第一数据；将上述第一数据存储到上述第二集群中与上述主分片对应的存储路径下的方法，由于在上述方法中，在迁移待迁移数据时，先查找第一索引的主分片，从而降低了传输数据的数据量，然后，对主分片和对应路径下的第一数据进行压缩，从而进一步降低了传输数据的数据量，最后，采用断点续传的方式传输压缩后的数据，从而避免了数据传输中断时需要重新传输数据的情况，从而实现了提高集群间迁移数据的效率的目的，进而解决了集群间迁移数据效率低的技术问题。
附图说明
[0016]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0017]图1是根据本专利技术实施例的一种可选的集群间数据迁移的方法的流程图；
[0018]图2是根据本专利技术实施例的一种可选的集群间数据迁移的系统示意图；
[0019]图3是根据本专利技术实施例的一种可选的集群间数据迁移的装置的结构示意图；
[0020]图4是根据本专利技术实施例的一种可选的电子设备的示意图。
具体实施方式
[0021]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0022]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0023]根据本专利技术实施例的第一方面，提供了一种集群间数据迁移的方法，可选地，如图1所示，上述方法包括：
[0024]S102，查找第一集群中待迁移数据的第一索引；
[0025]S104，查找所述第一索引的主分片；
[0026]S106，对所述主分片和所述主分片对应的存储路径下的第一数据进行压缩，得到压缩数据；
[0027]S108，将所述压缩数据采用断点续传的方式传输给第二集群；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集群间数据迁移的方法，其特征在于，包括：查找第一集群中待迁移数据的第一索引；查找所述第一索引的主分片；对所述主分片和所述主分片对应的存储路径下的第一数据进行压缩，得到压缩数据；将所述压缩数据采用断点续传的方式传输给第二集群；对传输到所述第二集群的所述压缩数据进行解压缩，得到所述第一数据与所述主分片；将所述第一数据存储到所述第二集群中与所述主分片对应的存储路径下。2.根据权利要求1所述的方法，其特征在于，所述查找第一集群中待迁移数据的第一索引包括：将所述待迁移数据的所有索引中，索引状态为关闭的索引的索引状态调整为打开，其中，所述索引状态为关闭的索引禁止读写；将所述所有索引中，每一个所述索引状态为打开的索引作为一个所述第一索引。3.根据权利要求2所述的方法，其特征在于，所述对所述主分片和所述主分片对应的存储路径下的第一数据进行压缩，得到压缩数据包括：将每一个所述第一索引作为当前索引，将所述当前索引的主分片和所述当前索引的所述主分片对应的存储路径下的所述第一数据压缩为一个压缩数据包。4.根据权利要求1所述的方法，其特征在于，所述将所述压缩数据采用断点续传的方式传输给第二集群包括：确定所述压缩数据在所述第一集群中所在的第一集群服务器；在所述第二集群中确定与所述第一集群服务器映射的第二集群服务器；将所述压缩数据从所述第一集群服务器采用断点续传的方式迁移到所述第二集群服务器。5.根据权利要求4所述的方法，其特征在于，所述在所述第二集群中确定与所述第一集群服务器映射的第二集群服务器包括：为每一个第一集群服务器在所述第二集群中确定出一个集群服务器作为所述第二集群服务器；或者在所述第二集群中...

【专利技术属性】
技术研发人员：杜志豪，李学良，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：