Elastic Search集群间数据迁移方法、装置及系统制造方法及图纸

本发明专利技术提供了一种Elastic Search集群间数据迁移方法、装置及系统，可用于人工智能技术领域，所述方法包括：将源ES集群中所有待迁移索引写入预设迁移队列中；根据迁移配置文件确定并行迁移的并行任务数量和迁移速度；启动所述并行任务数量对应的数据迁移进程根据所述迁移速度分别将所述并行任务数量对应的待迁移索引传输至目标ES集群，本发明专利技术可实现不同版本ES集群的数据批量迁移，提高ES集群的数据迁移效率。

【技术实现步骤摘要】
ElasticSearch集群间数据迁移方法、装置及系统
本专利技术涉及互联网
，尤其涉及一种ElasticSearch集群间数据迁移方法、装置及系统。
技术介绍
ElasticSearch(简称ES)是一个分布式、高扩展、高实时的搜索与数据分析引擎，可用于存储索引数据(一个索引相当于传统数据库中的一张表)，为使用者提供更灵活的在线数据查询服务。在使用ES时，常常会因为数据备份、产品升级、集群搬迁等原因需要对ES集群中的索引数据进行迁移。ES在用作查询功能时可视为一个数据库，但不具有一般关系型数据库多表关联、一致性和事务性等特性，在使用一般数据库的文件传输方式进行数据迁移时需要通过快照将数据进行文件固定，并且不支持不同版本ES集群间数据迁移，因此无法解决产品升级时新旧ES集群间数据同步的问题。
技术实现思路
本专利技术的一个目的在于提供一种ElasticSearch集群间数据迁移方法，实现不同版本ES集群的数据批量迁移，提高ES集群的数据迁移效率。本专利技术的另一个目的在于提供一种ElasticSearch集群间数据迁本文档来自技高网...

【技术保护点】
1.一种Elastic Search集群间数据迁移方法，其特征在于，包括：/n将源ES集群中所有待迁移索引写入预设迁移队列中；/n根据迁移配置文件确定并行迁移的并行任务数量和迁移速度；/n启动所述并行任务数量对应的数据迁移进程根据所述迁移速度分别将所述并行任务数量对应的待迁移索引传输至目标ES集群。/n

【技术特征摘要】
1.一种ElasticSearch集群间数据迁移方法，其特征在于，包括：
将源ES集群中所有待迁移索引写入预设迁移队列中；
根据迁移配置文件确定并行迁移的并行任务数量和迁移速度；
启动所述并行任务数量对应的数据迁移进程根据所述迁移速度分别将所述并行任务数量对应的待迁移索引传输至目标ES集群。


2.根据权利要求1所述的ElasticSearch集群间数据迁移方法，其特征在于，进一步包括；
预先将源ES集群的IP地址写入目标ES集群的白名单中。


3.根据权利要求1所述的ElasticSearch集群间数据迁移方法，其特征在于，进一步包括预先对所述目标ES集群中索引进行备份的步骤：
建立与目标ES集群中每个目标索引对应的备份索引；
将所述目标索引中的数据复制至所述备份索引中。


4.根据权利要求3所述的ElasticSearch集群间数据迁移方法，其特征在于，进一步包括：
将目标索引中的数据复制至所述备份索引的备份进度写入预设备份进度表中；
当所述备份进度表中的备份进度为备份完成时，通过数据迁移进程将所述待迁移索引的待迁移数据迁移至所述目标ES集群。


5.根据权利要求1所述的ElasticSearch集群间数据迁移方法，其特征在于，所述分别将所述并行任务数量对应的待迁移索引传输至目标ES集群具体包括：
获取与所述并行任务数量对应的待迁移索引的待迁移数据；
根据预设加密规则对所述待迁移数据进行加密；
将加密后的待迁移数据传输至所述目标ES集群。

【专利技术属性】
技术研发人员：梁晔华，张世瑛，赵吉昆，杨嘉欣，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11