基于制造技术

本申请涉及计算机数据处理技术领域，提供了一种基于

【技术实现步骤摘要】
基于Elasticsearch的数据同步方法及设备


[0001]本申请涉及计算机数据处理
，尤其涉及基于
Elasticsearch
的数据同步方法及设备
。

技术介绍

[0002]目前，
Elasticsearch
是一个分布式的开源搜索和分析引擎，在
Apache Lucene
的基础上开发而成
。Lucene
是开源的搜索引擎工具包，
Elasticsearch
充分利用
Lucene
，并对其进行了扩展，使存储
、
索引
、
搜索都变得更快
、
更容易
。
应用代码可以通过
JSON
格式的
HTTP
请求来进行索引
、
搜索和管理
Elasticsearch
集群
。
[0003]相关技术中，由关系型数据库
Mysql
到搜索引擎
Elasticsearch...

【技术保护点】

【技术特征摘要】
1.
一种基于
Elasticsearch
的数据同步方法，其特征在于，应用于
Elasticsearch
数据库，所述方法包括：接收来自客户端的数据同步请求；通过数据分流转换器将所述数据同步请求转换为
Elasticsearch
数据库可识别的目标文件搜索请求；将所述目标文件搜索请求发送至
Elasticsearch
数据库并获取目标文件；通过数据分流转换器将所述目标文件转换为目标数据库可识别的同步文件，并将所述同步文件写入目标数据库
。2.
根据权利要求1所述的方法，其特征在于，所述通过数据分流转换器将所述数据同步请求转换为
Elasticsearch
数据库可识别的目标文件搜索请求，包括：基于所述数据同步请求中包含的目标文件信息，通过数据分流转换器将所述目标文件信息写入目标文件搜索请求；基于
Elasticsearch
数据库的协议类型，通过数据分流转换器生成相同协议类型的目标文件搜索请求
。3.
根据权利要求1所述的方法，其特征在于，所述将所述目标文件搜索请求发送至
Elasticsearch
数据库并获取目标文件，包括：将所述目标文件搜索请求发送至协调节点，通过所述协调节点根据所述目标文件搜索请求查询目标文件的标识以及目标文件所处的数据分片；其中，所述协调节点为
Elasticsearch
数据库用于处理请求的节点；通过所述协调节点基于目标文件的标识以及目标文件所处的数据分片创建拉取请求，以及将所述拉取请求转发到对应的数据分片；在数据分片根据拉取请求确定目标文件后，从数据分片的源字段中获取目标文件并返回给所述协调节点
。4.
根据权利要求3所述的方法，其特征在于，在将所述目标文件搜索请求发送至
Elasticsearch
数据库并获取目标文件之前，所述方法还包括：采用哈希算法将
Elasticsearch
数据库进行分区，得到多个数据分片，其中，所述数据分片用于存储数据
。5.
根据权利要求1所述的方法，其特征在于，所述通过数据分流转换器将所述目标文件转换为目标数据库可识别的同步文件，包括：根据目标数据库中存储数据的数据类型，通过采用数据分流转换器将所述目标文件转换为相同数据类型的同步文件；基于不同数据库中存储数据的不同存储规则以及协议类型，通过数据分流转换器将所述目标文件转换为相同存储规则以及相同协议类型的同步文件
。6.
根据权利要求1所述的方法，其特征在于，所述将所述同步文件写入目标数据库，包括：创建异步批处理组件
Bulkprocessor
对象执行异步批处理请求
BulkRequest
，将所述同步文件添加到所述
Bulkprocessor
对象，以使所述
Bulkprocessor
对象将所述同步文件批量写入目标数据库
。7.
一种基于
Elasticsearch
的数据同步方法装置，其特征在于，应用于
Elasticsearch
数据库，所述装置包括：请求接收模块，被配置为接收来自客户端的数据同步请求；请求处理模块，被配置为通过数据分流转换器将所述数据同步请求转换为
Elasticsearch
数据库可识别的目标文件搜索请求；文件获取模块，被配置为将所述目标文件搜索请求发送至
Elasticsea...

【专利技术属性】
技术研发人员：武尚，郭望纾，马怡安，王延正，周畅，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：