一种基于solr的Hbase的查询方法及装置制造方法及图纸

本发明专利技术实施例公开了一种基于solr的Hbase的查询方法及装置。该方法包括：根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中；查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改和查操作，并完成对数据的计算和聚合运算；在浏览器端完成数据的展示和实时监测。从而实现支持多种数据源、大数据集群的集成；结合Solr索引可以很好的实现HBase的多表关联多条件查询；实际场景中大多都是分页查询，分页查询返回的数据量很少，采用此种方案完全可以达到前端页面毫秒级的实时响应；若有大批量的数据交互，比如涉及到数据导出，实际上效率也是很高。

A query method and device for Hbase based on Solr

An embodiment of the invention discloses a query method and device for Hbase based on Solr. The method includes: according to the demand of the data were processed by the algorithm execution in advance, the processed data is stored in the HBASE table; the query data in the HBASE table, use the HBASE API data add delete change and check operation, and complete the data computation and data aggregation operation; the real-time monitoring and display in the browser. In order to achieve the integration to support a variety of data sources, data cluster; combined with Solr index can achieve a good HBase multi table Association multi condition query; the actual scene mostly paging query, data paging query returns a few, real-time response using this scheme can reach the front page of milliseconds; if there is batch data exchange, such as related to export data, in fact the efficiency is very high.

【技术实现步骤摘要】
一种基于solr的Hbase的查询方法及装置
本专利技术实施例涉及
，尤其涉及一种基于solr的Hbase的查询方法及装置。
技术介绍
近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。一些行业/企业的数据量达到数百TB甚至数十至数百PB，巨大的数据资产迫切需要数据价值化展示及对实时数据进行监测。采用HBase来存储明细数据，供前台页面即时查询。HBase无可置疑拥有其优势，但其本身只对rowkey支持毫秒级的快速检索，对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案，但是这些方案要么太复杂，要么效率太低，现有的解决方案是基于Solr的HBase多条件查询。基于Solr的HBase多条件查询原理是将HBase表中涉及条件过滤的字段和rowkey在Solr中建立索引，通过Solr的多条件查询快速获得符合过滤条件的rowkey值，拿到rowkey之后在HBASE中通过指定rowkey进行查询。基于Solr的HBase多条件查询，Solr以及HBase端都可以不断进行优化，比如可以搭建Solr集群，甚至可以采用SolrCloud基于hadoop的分布式索引服务。但只能进行单表查询数据，对数据进行筛选、排序、分组、运算等操作受到了很大的限制。若是通过增加Hbase表列族存储大量数据，不利于数据管理。
技术实现思路
本专利技术实施例的目的在于提出一种基于solr的Hbase的查询方法及装置，旨在解决如何通过设计表实现对相关多表进行数据分析处理工具的问题。为达此目的，本专利技术实施例采用以下技术方案：第一方面，一种基于solr的Hbase的查询方法，所述方法包括：根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中；查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改和查操作，并完成对数据的计算和聚合运算；在浏览器端完成数据的展示和实时监测。优选地，所述根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中，包括：在集群中存储提取后的字段信息，通过定时任务将提取后的字段信息经过规整、分类、筛选插入到solr集群，若所述HBASE表是两张表相关联，则在两张表中新创建一个字段，将所述字段设置为uniqueKey属性的值。优选地，所述查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改和查操作，并完成对数据的计算和聚合运算，包括：在Hadoop大数据集群中设置中间件，所述中间件用于将处理后的数据插入solr集群中，所述中间件用于提供一个接口，以使得系统调用所述接口并且提供封装的数据完成对数据的操作；将请求后的数据集进行解析，根据所需要展示的形式不同可以使用不同的分类方法和聚合方法对数据进行封装。优选地，所述根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中之前，还包括：将所述数据通过传输工具传输到nosql持久化集群，所述nosql持久化集群包括多台linux台服务器组成的HBase集群和solr环境和Hadoop、HBase和Solr为主要组件构建的通过策略提取有用信息的系统，所述系统用于对大数据进行预处理，筛选出有效数据，进行基本常规的分类，并按需求存储于Hbase。优选地，所述在浏览器端完成数据的展示和实时监测，包括：通过数据展示系统对solr集群中的数据进行查询、数据集解析、数据加工、重新封装，在页面中进行展示；将表中需要创建索引的字段添加到预设文件中。第二方面，一种基于solr的Hbase的查询装置，所述装置包括：存储模块，用于根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中；查询模块，用于查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改、查操作，并完成对数据的计算、聚合运算；监测模块，用于在浏览器端完成数据的展示和实时监测。优选地，所述存储模块，具体用于：在集群中存储提取后的字段信息，通过定时任务将提取后的字段信息经过规整、分类、筛选插入到solr集群，若所述HBASE表是两张表相关联，则在两张表中新创建一个字段，将所述字段设置为uniqueKey属性的值。优选地，所述查询模块，具体用于：在Hadoop大数据集群中设置中间件，所述中间件用于将处理后的数据插入solr集群中，所述中间件用于提供一个接口，以使得系统调用所述接口并且提供封装的数据完成对数据的操作；将请求后的数据集进行解析，根据所需要展示的形式不同可以使用不同的分类方法、聚合方法对数据进行封装。优选地，所述装置还包括：传输模块，用于在根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中之前，将所述数据通过传输工具传输到nosql持久化集群，所述nosql持久化集群包括多台linux台服务器组成的HBase集群和solr环境和Hadoop、HBase、Solr为主要组件构建的通过策略提取有用信息的系统，所述系统用于对大数据进行预处理，筛选出有效数据，进行基本常规的分类，并按需求存储于Hbase。优选地，所述监测模块，具体用于：通过数据展示系统对solr集群中的数据进行查询、数据集解析、数据加工、重新封装，在页面中进行展示；将表中需要创建索引的字段添加到预设文件中。本专利技术实施例提供一种基于solr的Hbase的查询方法及装置，根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中；查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改和查操作，并完成对数据的计算和聚合运算；在浏览器端完成数据的展示和实时监测。从而实现支持多种数据源、大数据集群的集成；结合Solr索引可以很好的实现HBase的多表关联多条件查询；实际场景中大多都是分页查询，分页查询返回的数据量很少，采用此种方案完全可以达到前端页面毫秒级的实时响应；若有大批量的数据交互，比如涉及到数据导出，实际上效率也是很高。附图说明图1是本专利技术实施例提供的一种基于solr的Hbase的查询方法的流程示意图；图2是本专利技术实施例提供的一种大数据系统的结构示意图；图3是本专利技术实施例提供的一种需求数据表的示意图；图4是本专利技术实施例提供的另一种基于solr的Hbase的查询方法的流程示意图；图5是本专利技术实施例提供的另一种基于solr的Hbase的查询方法的流程示意图；图6是本专利技术实施例提供的一种基于solr的Hbase的查询装置的功能模块示意图。具体实施方式下面结合附图和实施例对本专利技术实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术实施例，而非对本专利技术实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术实施例相关的部分而非全部结构。参考图1，图1是本专利技术实施例提供的一种基于solr的Hbase的查询方法的流程示意图。如图1所示，所述基于solr的Hbase的查询方法包括：步骤101，根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中；具体的，如图2所示，大数据系统接入的数据包括Ayena型数据和非Ayena型数据。首先将接入本文档来自技高网...

【技术保护点】
一种基于solr的Hbase的查询方法，其特征在于，所述方法包括：根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中，所述提取执行算法用于数据处理和格式转换；查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改和查操作，并完成对数据的计算和聚合运算；在浏览器端完成数据的展示和实时监测。

【技术特征摘要】
1.一种基于solr的Hbase的查询方法，其特征在于，所述方法包括：根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中，所述提取执行算法用于数据处理和格式转换；查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改和查操作，并完成对数据的计算和聚合运算；在浏览器端完成数据的展示和实时监测。2.根据权利要求1所述的方法，其特征在于，所述根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中，包括：在集群中存储提取后的字段信息，通过定时任务将提取后的字段信息经过规整、分类、筛选插入到solr集群，若所述HBASE表是两张表相关联，则在两张表中新创建一个字段，将所述字段设置为uniqueKey属性的值。3.根据权利要求1所述的方法，其特征在于，所述查询所述HBASE表中的数据，使用HBASE提供的API进行数据的增、删、改和查操作，并完成对数据的计算和聚合运算，包括：在Hadoop大数据集群中设置中间件，所述中间件用于将处理后的数据插入solr集群中，所述中间件用于提供一个接口，以使得系统调用所述接口并且提供封装的数据完成对数据的操作；将请求后的数据集进行解析，根据所需要展示的形式不同可以使用不同的分类方法和聚合方法对数据进行封装。4.根据权利要求1至3任意一项所述的方法，其特征在于，所述根据需求将数据通过提前执行算法进行处理，将处理后的数据存储到HBASE表中之前，还包括：将所述数据通过传输工具传输到nosql持久化集群，所述nosql持久化集群包括多台linux台服务器组成的HBase集群和solr环境和Hadoop、HBase和Solr为主要组件构建的通过策略提取有用信息的系统，所述系统用于对大数据进行预处理，筛选出有效数据，进行基本常规的分类，并按需求存储于Hbase。5.根据权利要求1至4任意一项所述的方法，其特征在于，所述在浏览器端完成数据的展示和实时监测，包括：通过数据展示系统对solr集群中的数据进行查询、数据集解析...

【专利技术属性】
技术研发人员：张丹，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：北京,11