【技术实现步骤摘要】
一种基于Solr的HBase二级索引方法及设备
本专利技术涉及一种基于Solr的HBase二级索引方法及设备，属于大数据索引
技术介绍
大数据技术已经如火如荼的在各行各业进行应用，作为大数据基础组件的HBase，适用于分布式集群化的存储大量的数据，实现实时的随机读取。HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。但是访问HBase进行数据查询时只能通过Rowkey（注：Rowkey可以认为是等同关系数据库中表的主键）进行精确索引，这使得要按照某个column进行条件查询需要进行全表扫描，才能最后得到想要的数据。而通常情况下，应用系统会使用更为灵活的条件组合查询方式进行数据查询，比如有一张大宽表记录了客户的信息，可能表中会存储了客户ID、客户名称、出生年月、学历、职业、性别等等的信息，若想通过性别、学历这两个信息来筛选一批客户，...
【技术保护点】
1.一种基于Solr的HBase二级索引方法，其特征在于，包括以下步骤：创建索引，从数据源加载原始数据写入HBase引擎内，同时对原始数据进行预定义索引处理，预定义原始数据中的字段以及原始数据在HBase引擎中的Rowkey，形成索引数据写入Solr引擎内；客户端发起查询请求，输入查询条件，Solr引擎根据查询条件，筛选字段满足查询条件的索引数据，得到满足查询条件的Rowkey集合并返回客户端；若Rowkey集合为空，则结束流程；若Rowkey集合非空，客户端使用返回的Rowkey集合到HBase引擎中进行查询，得到原始数据返回客户端。
【技术特征摘要】
1.一种基于Solr的HBase二级索引方法，其特征在于，包括以下步骤：创建索引，从数据源加载原始数据写入HBase引擎内，同时对原始数据进行预定义索引处理，预定义原始数据中的字段以及原始数据在HBase引擎中的Rowkey，形成索引数据写入Solr引擎内；客户端发起查询请求，输入查询条件，Solr引擎根据查询条件，筛选字段满足查询条件的索引数据，得到满足查询条件的Rowkey集合并返回客户端；若Rowkey集合为空，则结束流程；若Rowkey集合非空，客户端使用返回的Rowkey集合到HBase引擎中进行查询，得到原始数据返回客户端。2.根据权利要求1所述的一种基于Solr的HBase二级索引方法，其特征在于：客户端与Solr引擎和HBase引擎通过对外提供的API接口对接。3.根据权利要求1所述的一种基于Solr的HBase二级索引方法，其特征在于，所述预定义索引处理具体为：加载原始数据至Solr引擎；定义数据中包括Rowkey字段的各字段的名称、类型、是否可以在查询中使用该字段的值检索匹配的文档以及是否可以在查询中使用该字段的值进行检索；更新为索引数据写入Solr引擎。4.一种基于Solr的HBase二...
【专利技术属性】
技术研发人员：翁安栋，邱涛，陈成乐，
申请(专利权)人：厦门商集网络科技有限责任公司，
类型：发明
国别省市：福建,35
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。