【技术实现步骤摘要】
本专利技术涉及计算机领域，尤其涉及一种elasticsearch多集群数据同步方法、装置、可读存储介质及程序产品。
技术介绍
1、在信息化快速发展的今天，各企业或团体内部在搜索方面的流量越来越庞大。目前，各搜索系统基本都基于开源的elasticsearch(简称es)进行建设，构建elasticsearch集群，不论是在多数据中心场景还是在单中心多网络域或者多es集群版本场景下，都是es多集群场景，在es多集群场景需要面对es多集群数据同步问题。现有解决方案基本都需要将es数据同步的功能代码人工插入到业务应用的调用侧或者插入到es的原生代码逻辑。不论哪种方式，对业务应用或者原生es的侵入性都比较高，而且对技能水平的门槛要求较高，同时，出现故障后，需要业务研发人员、es维护人员、os运维人员等多类角色同时进行问题分析、处理，提高了维护成本。如果对业务应用代码或es代码进行了调整修改，如果没有经过及时测试，较难发现侵入代码的潜在风险，对生产环境造成很大程度的影响，增加业务系统整体的不稳定性。在es集群多版本场景下，同时存在数据兼容性问题，现有解决方案很难完善解决。
技术实现思路
1、有鉴于此，本专利技术实施例提供了一种elasticsearch多集群数据同步方法、装置、可读存储介质及程序产品，本专利技术提升es多集群数据同步效率，降低es多集群数据同步的人力成本，实现es多集群数据同步自动化、便捷化、通用化、定制化，解决了现有技术存在的弊端。
2、第一方面，本专利技术实施例
3、优选地，所述数据处理模块包括数据抓取模块、协议解析模块和数据投放模块，将所述网络流量数据传入数据处理模块进行处理包括以下步骤：所述数据抓取模块收集所述网络流量数据，将所述网络流量数据按预设的规则整理为tcp四层层流量数据，并传入所述协议解析模块；所述协议解析模块将所述tcp四层流量数据解析为七层es流量数据，并传入数据投放模块；所述数据投放模块将所述七层es流量数据打包，得到流量数据包。
4、优选地，预设的分析规则包括api分析、action分析和核心请求分析。
5、优选地，根据预设的方式完成数据同步包括以下步骤：根据预设的es集群同步策略探测各es集群的版本，进行es数据版本转换，并调用es集群对应api完成数据同步。
6、优选地，初始化数据抓取规则包括以下步骤：设置所述数据抓取规则，并将抓取规则传入操作系统内核；所述操作系统内接收到所述数据抓取规则后，启动所述数据抓取模块、协议解析模块和数据投放模块。
7、第二方面，本专利技术实施例提供一种elasticsearch多集群数据交叉同步装置，包括：
8、抓取规则模块：用于初始化数据抓取规则；
9、筛选模块：依据所述抓取规则筛选数据；
10、数据处理模块：用于对筛选后的数据进行处理，并得到数据流量包；
11、数据分析模块：用于对数据流量包进行分析，得到分析数据；
12、数据同步模块：按照预设的方式完成数据同步。
13、第三方面，本专利技术实施例提供一种可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被执行时实现如上述方法的步骤。
14、第四方面，本专利技术实施例提供一种程序产品，其上包括计算机程序指令，所述计算机程序指令被执行时实现如上述方法的步骤。
15、与现有技术相比，本专利技术所提供的一种elasticsearch多集群数据同步方法，具有如下的有益效果：
16、1、本专利技术实施例提供elasticsearch多集群数据同步方法包括以下步骤：初始化数据抓取规则；根据数据抓取规则筛选网络流量数据；将网络流量数据传入数据处理模块进行处理，得到流量数据包；数据分析模块获取流量数据包，并对流量数据包按预设的分析规则进行分析，得到分析数据；数据同步模块获取分析数据，并根据预设的方式完成数据同步。可以理解地，本方案通过旁路监听的方式，即监听网络流量数据，避免了对业务应用和es服务的侵入性，可以做到零侵入，可保障原有业务应用和es功能链路的完整性和原子性。
17、2、本专利技术实施例提供的elasticsearch多集群数据同步方法中，数据处理模块包括数据抓取模块、协议解析模块和数据投放模块，将网络流量数据传入数据处理模块进行处理包括以下步骤：数据抓取模块收集网络流量数据，将网络流量数据按预设的规则整理为tcp四层层流量数据，并传入协议解析模块；协议解析模块将tcp四层流量数据解析为七层es流量数据，并传入数据投放模块；数据投放模块将七层es流量数据打包，得到流量数据包。可以理解地，通过采集tcp四层数据，根据特有协议格式进行tcp数据的解析转换，该过程可一次修改多处运行，且提供编程框架，降低研发人员、运维人员的进入门槛，降低各层面、各维度的成本投入。
18、3、本专利技术实施例提供的elasticsearch多集群数据同步方法中，根据预设的es集群同步策略探测各es集群的版本，进行es数据版本转换，并调用es集群对应api完成数据同步。可以理解地，数据同步模块隔绝了es多版本api和/或数据不兼容等问题，实现了不同es版本的数据迁移和同步。
本文档来自技高网...【技术保护点】
1.一种ElasticSearch多集群数据同步方法，其特征在于：包括以下步骤：
2.如权利要求1所述的ElasticSearch多集群数据同步方法，其特征在于：所述数据处理模块包括数据抓取模块、协议解析模块和数据投放模块，将所述网络流量数据传入数据处理模块进行处理包括以下步骤：
3.如权利要求1所述的ElasticSearch多集群数据同步方法，其特征在于：预设的分析规则包括API分析、Action分析和核心请求分析。
4.如权利要求1所述的ElasticSearch多集群数据同步方法，其特征在于：根据预设的方式完成数据同步包括以下步骤：
5.如权利要求2所述的ElasticSearch多集群数据同步方法，其特征在于：初始化数据抓取规则包括以下步骤：
6.一种ElasticSearch多集群数据交叉同步装置，用于实现如权利要求1所述的ElasticSearch多集群数据同步方法，其特征在于：包括：
7.一种可读存储介质，其上存储有计算机程序指令，其特征在于：所述计算机程序指令被执行时实现如权利要求1-5所述
8.一种程序产品，包括计算机程序指令，其特征在于：所述计算机程序指令被执行时实现如权利要求1-5所述方法的步骤。
...【技术特征摘要】
1.一种elasticsearch多集群数据同步方法，其特征在于：包括以下步骤：
2.如权利要求1所述的elasticsearch多集群数据同步方法，其特征在于：所述数据处理模块包括数据抓取模块、协议解析模块和数据投放模块，将所述网络流量数据传入数据处理模块进行处理包括以下步骤：
3.如权利要求1所述的elasticsearch多集群数据同步方法，其特征在于：预设的分析规则包括api分析、action分析和核心请求分析。
4.如权利要求1所述的elasticsearch多集群数据同步方法，其特征在于：根据预设的方式完成数据同...
【专利技术属性】
技术研发人员：简仁贤，马永宁，
申请(专利权)人：竹间智能科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。