基于Elasticsearch框架的分布式搜索系统技术方案

本发明专利技术属于大数据基础架构领域，涉及一种分布式搜索系统，尤其涉及一种基于Elasticsearch框架的分布式搜索系统。本发明专利技术提出的基于Elasticsearch框架的分布式搜索系统解决了大数据量条件下的实时搜索查询问题。数据导入Java数据库和API接口与外部配置文件，对数据源、目标集群及索引进行灵活搭配，达到了通用性和易维护性。源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接，经测试上述连接极大提升数据导入性能，数据导入速度达到每小时2500万条左右。采用API接口使搜索接口更贴近于具体业务并且使web端开发与Elasticsearch解耦，降低了学习成本大大提高了开发效率。

Distributed search system based on elastic search framework

The invention belongs to the field of big data infrastructure, and relates to a distributed search system, in particular to a distributed search system based on the elastic search framework. The distributed search system based on the elastic search framework proposed by the invention solves the real-time search query problem under the condition of large amount of data. The data is imported into Java database and API interface and external configuration file, and the data source, target cluster and index are flexibly matched to achieve universality and maintainability. The source data layer is connected with the support connection layer through the data aggregation layer, and the support connection layer is connected with the data application layer. After the test, the above connection greatly improves the data import performance, and the data import speed reaches about 25 million pieces per hour. The API interface makes the search interface more close to the specific business and decouples the web development and elastic search, which reduces the learning cost and greatly improves the development efficiency.

【技术实现步骤摘要】
基于Elasticsearch框架的分布式搜索系统
本专利技术属于大数据基础架构领域，涉及一种分布式搜索系统，尤其涉及一种基于Elasticsearch框架的分布式搜索系统。
技术介绍
Elasticsearch是目前主流的全文检索框架，解决了大数据量条件下的实时全文检索问题，并且支持基于get/post方法的json参数接口以及多种可视化插件和分词器，使搜索技术更容易的被应用于IT应用系统当中。然而，Elasticsearch仅提供了数据导入及搜索的接口，并没有解决从数据源到应用端的一系列问题，而且Elasticsearch原生的搜索接口比较复杂，学习成本比较高，对于开发人员的掌握有一定困难，开发难度大。现有检索数据仅支持单一数据库，无法适用多种数据库。
技术实现思路
本专利技术解决现有技术不足提供一种适用范围广、开发难度低、实施便捷的基于Elasticsearch框架的分布式搜索系统。为解决上述技术问题本专利技术采用如下技术方案：基于Elasticsearch框架的分布式搜索系统，包括数据应用层、支撑连接层、数据聚合层和源数据层；源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接；所述数据应用层为Web应用程序，所述支撑连接层为API接口，所述数据聚合层为Elasticsearch搜索服务器，所述源数据层为hadoop、Hive、Oracle和Mysql数据库；Elasticsearch搜索服务器通过API接口与Web应用程序连接。所述API接口通过Java数据库与Elasticsearch搜索服务器连接。所述基于Elasticsearch框架的分布式搜索系统，其特征在于所述Web应用程序为Java语言架构编辑。所述基于Elasticsearch框架的分布式搜索系统，其特征在于所述Web应用程序录入检索字段，检索字段通过Java数据库和Elasticsearch搜索服务器调用源数据层。所述源数据层为hadoop、Hive、Oracle和Mysql数据库的一种或几种。本专利技术的有益效果为：本专利技术提出的基于Elasticsearch框架的分布式搜索系统解决了大数据量条件下的实时搜索查询问题。数据导入Java数据库和API接口与外部配置文件，对数据源、目标集群及索引进行灵活搭配，达到了通用性和易维护性。源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接，经测试上述连接极大提升数据导入性能，数据导入速度达到每小时2500万条左右。采用API接口使搜索接口更贴近于具体业务并且使web端开发与Elasticsearch解耦，降低了学习成本大大提高了开发效率。附图说明图1为本专利技术的结构示意图。具体实施方式基于Elasticsearch框架的分布式搜索系统，包括数据应用层、支撑连接层、数据聚合层和源数据层；源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接；所述数据应用层为Web应用程序，所述支撑连接层为API接口，所述数据聚合层为Elasticsearch搜索服务器，所述源数据层为hadoop、Hive、Oracle和Mysql数据库；Elasticsearch搜索服务器通过API接口与Web应用程序连接。所述API接口通过Java数据库与Elasticsearch搜索服务器连接。所述Web应用程序为Java语言架构编辑。所述Web应用程序录入检索字段，检索字段通过Java数据库和Elasticsearch搜索服务器调用源数据层。所述源数据层为hadoop、Hive、Oracle和Mysql数据库的一种或几种。实施例1系统包括如下模块：Hive数据源，为上层服务提供数据来源和支撑。数据导入Java数据库，负责将数据源的数据导入到Elasticsearch集群中。连接Hive数据源并调用API接口将数据导入到特定的索引中。Elasticsearch集群，提供基础的检索服务。Web应用，负责调用搜索服务接口实现可视化的系统业务使用界面。实施例2系统包括如下模块：Oracle数据源，为上层服务提供数据来源和支撑。数据导入Java数据库，负责将数据源的数据导入到Elasticsearch集群中。连接Oracle数据源并调用API接口将数据导入到特定的索引中。Elasticsearch集群，提供基础的检索服务。Web应用，负责调用搜索服务接口实现可视化的系统业务使用界面。实施例3系统包括如下模块：hadoop、Hive、Oracle和Mysql数据库，为上层服务提供数据来源和支撑。数据导入Java数据库，负责将数据源的数据导入到Elasticsearch集群中。同时连接hadoop、Hive、Oracle和Mysql数据库并调用API接口将数据导入到特定的索引中。Elasticsearch集群，提供基础的检索服务。Web应用，负责调用搜索服务接口实现可视化的系统业务使用界面。本文档来自技高网...

【技术保护点】
1.基于Elasticsearch框架的分布式搜索系统，其特征在于包括数据应用层、支撑连接层、数据聚合层和源数据层；源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接；所述数据应用层为Web应用程序，所述支撑连接层为API接口，所述数据聚合层为Elasticsearch搜索服务器，所述源数据层为hadoop、Hive、Oracle和Mysql数据库；Elasticsearch搜索服务器通过API接口与Web应用程序连接。/n

【技术特征摘要】
1.基于Elasticsearch框架的分布式搜索系统，其特征在于包括数据应用层、支撑连接层、数据聚合层和源数据层；源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接；所述数据应用层为Web应用程序，所述支撑连接层为API接口，所述数据聚合层为Elasticsearch搜索服务器，所述源数据层为hadoop、Hive、Oracle和Mysql数据库；Elasticsearch搜索服务器通过API接口与Web应用程序连接。


2.根据权利要求1所述基于Elasticsearch框架的分布式搜索系统，其特征在于所述API接口通过Java数据库与Elas...

【专利技术属性】
技术研发人员：王志鹏，吕伟，
申请(专利权)人：甘肃万维信息技术有限责任公司，
类型：发明
国别省市：甘肃;62