ES跨多版本数据迁移的实现方法技术

一种ES跨多版本数据迁移的实现方法，包括三种不同的实现方法，具体为ES快照数据备份和恢复、拷贝ES物理目录/文件和查询并导出数据。本发明专利技术中的ES跨多版本数据迁移的实现方法包括了ES快照数据备份和恢复、拷贝ES物理目录/文件和查询并导出数据三种不同的实现方法，用户可根据不同的操作环境或数据信息进行不同的选择，使用方法灵活，给用户在进行数据迁移时带来方便。

The implementation of cross version data migration of ES

【技术实现步骤摘要】
ES跨多版本数据迁移的实现方法
本专利技术涉及互联网
，尤其涉及一种ES跨多版本数据迁移的实现方法。
技术介绍
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。现在，很多用户在对ES数据迁移时不清楚数据迁移的方法，不能根据实际情况选择合适的数据迁移方式，从而不会数据迁移或者数据迁移效率不高。为解决上述问题，本申请中提出一种ES跨多版本数据迁移的实现方法。
技术实现思路
(一)专利技术目的为解决
技术介绍
中存在的技术问题，本专利技术提出一种ES跨多版本数据迁移的实现方法。(二)技术方案为解决上述问题，本专利技术提供了一种ES跨多版本数据迁移的实现方法，包括三种不同的实现方法，具体为ES快照数据备份和恢复、拷贝ES物理目录/文件和查询并导出数据。优选的，采用所述ES快照数据备份和恢复实现数据迁移，具体步骤如下：(1)将新集群机器的目录远程Mount到旧集群机器上；(2)使用sshfs挂载目录或Mountnfs挂载目录；(3)创建ES仓库；(4)创建快照备份；(5)查看备份的状态；(6)等待备份完成后，取消挂载；(7)在新集群中创建仓库使用RESTfulAPI进行备份的数据恢复；(8)查看恢复状态，直至恢复完成,完成数据迁移。优选的，所述使用sshfs挂载目录的具体方法如下：在每台机器上安装sshfs；每台机器上创建Mount共享目录；旧集群的每台机器上挂载共享目录(分别挂载了新机器的/opt/data07目录到/opt/backup_es)；测试运行ES的用户是否有对共享目录的写权限；在旧机器上将共享目录的权限付给ES的运行用户。优选的，所述使用Mountnfs挂载目录的具体方法如下：在新集群的机器上添加共享的文件夹和客户端可以访问的IP地址；查看共享文件夹；重启启动新集群机器的NFS服务；旧集群的每台机器上创建共享目录；旧集群机器上进行Mount挂载；在旧机器上将共享目录的权限付给ES的运行用户。优选的，采用所述拷贝ES物理目录/文件实现数据迁移，具体步骤如下：(1)在磁盘中找到ES文件的存储目录；(2)根据集群名字找寻文件夹并拷贝；(3)编写迁移代码；(4)将数据入库到新的ES集群中。优选的，采用所述查询并导出数据实现数据迁移，具体步骤如下：(1)根据ES查询该ES的API；(2)根据该ES的API编写程序；(3)通过计算机程序将ES数据导出csv文件；通过计算机程序将ES数据查询出来；(4)入库到新的ES集群中。优选的，采用所述查询并导出数据实现数据迁移时需要安装python的pyes模块。本专利技术的上述技术方案具有如下有益的技术效果：本专利技术中的ES跨多版本数据迁移的实现方法包括了ES快照数据备份和恢复、拷贝ES物理目录/文件和查询并导出数据三种不同的实现方法，用户可根据不同的操作环境或数据信息进行不同的选择，使用方法灵活，给用户在进行数据迁移时带来方便。附图说明图1为本专利技术提出的ES跨多版本数据迁移的实现方法中第一种方法的流程图。图2为本专利技术提出的ES跨多版本数据迁移的实现方法中第二种方法的流程图。图3为本专利技术提出的ES跨多版本数据迁移的实现方法中第三种方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。本专利技术提出的一种ES跨多版本数据迁移的实现方法，包括三种不同的实现方法，具体为ES快照数据备份和恢复、拷贝ES物理目录/文件和查询并导出数据。如图1所示，一种ES跨多版本数据迁移的实现方法，采用ES快照数据备份和恢复实现数据迁移，具体步骤如下：(1)将新集群机器的目录远程Mount到旧集群机器上；(2)使用sshfs挂载目录或Mountnfs挂载目录；(3)创建ES仓库；(4)创建快照备份；(5)查看备份的状态；(6)等待备份完成后，取消挂载；(7)在新集群中创建仓库使用RESTfulAPI进行备份的数据恢复；(8)查看恢复状态，直至恢复完成,完成数据迁移。在一个可选的实施例中，所述使用sshfs挂载目录的具体方法如下：在每台机器上安装sshfs；每台机器上创建Mount共享目录；旧集群的每台机器上挂载共享目录(分别挂载了新机器的/opt/data07目录到/opt/backup_es)；测试运行ES的用户是否有对共享目录的写权限；在旧机器上将共享目录的权限付给ES的运行用户。在一个可选的实施例中，所述使用Mountnfs挂载目录的具体方法如下：在新集群的机器上添加共享的文件夹和客户端可以访问的IP地址；查看共享文件夹；重启启动新集群机器的NFS服务；旧集群的每台机器上创建共享目录；旧集群机器上进行Mount挂载；在旧机器上将共享目录的权限付给ES的运行用户。如图2所示，一种ES跨多版本数据迁移的实现方法，采用拷贝ES物理目录/文件实现数据迁移，具体步骤如下：(1)在磁盘中找到ES文件的存储目录；(2)根据集群名字找寻文件夹并拷贝；(3)编写迁移代码；(4)将数据入库到新的ES集群中。如图3所示，一种ES跨多版本数据迁移的实现方法，采用查询并导出数据实现数据迁移，具体步骤如下：(1)根据ES查询该ES的API；(2)根据该ES的API编写程序；(3)通过计算机程序将ES数据导出csv文件；通过计算机程序将ES数据查询出来；(4)入库到新的ES集群中。在一个可选的实施例中，采用所述查询并导出数据实现数据迁移时需要安装python的pyes模块。本专利技术中的ES跨多版本数据迁移的实现方法包括了ES快照数据备份和恢复、拷贝ES物理目录/文件和查询并导出数据三种不同的实现方法，用户可根据不同的操作环境或数据信息进行不同的选择，使用方法灵活，给用户在进行数据迁移时带来方便。应当理解的是，本专利技术的上述具体实施方式仅仅用于示例性说明或解释本专利技术的原理，而不构成对本专利技术的限制。因此，在不偏离本专利技术的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。此外，本专利技术所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。本文档来自技高网...

【技术保护点】
1.一种ES跨多版本数据迁移的实现方法，其特征在于，包括三种不同的实现方法，具体为ES快照数据备份和恢复、拷贝ES物理目录/文件和查询并导出数据。/n

【技术特征摘要】
1.一种ES跨多版本数据迁移的实现方法，其特征在于，包括三种不同的实现方法，具体为ES快照数据备份和恢复、拷贝ES物理目录/文件和查询并导出数据。


2.根据权利要求1所述的一种ES跨多版本数据迁移的实现方法，其特征在于，所述ES快照数据备份和恢复实现数据迁移的具体步骤如下：
(1)将新集群机器的目录远程Mount到旧集群机器上；
(2)使用sshfs挂载目录或Mountnfs挂载目录；
(3)创建ES仓库；
(4)创建快照备份；
(5)查看备份的状态；
(6)等待备份完成后，取消挂载；
(7)在新集群中创建仓库使用RESTfulAPI进行备份的数据恢复；
(8)查看恢复状态，直至恢复完成,完成数据迁移。


3.根据权利要求2所述的一种ES跨多版本数据迁移的实现方法，其特征在于，所述使用sshfs挂载目录的具体方法如下：在每台机器上安装sshfs；每台机器上创建Mount共享目录；旧集群的每台机器上挂载共享目录(分别挂载了新机器的/opt/data07目录到/opt/backup_es)；测试运行ES的用户是否有对共享目录的写权限；在旧机器上将共享目录的权限付给ES的运行用户。


4.根据权利要求2所述的一种...

【专利技术属性】
技术研发人员：胡家辰，
申请(专利权)人：达疆网络科技上海有限公司，
类型：发明
国别省市：上海;31