一种实现Hbase二级索引的方法技术

本发明专利技术涉及大数据查询处理技术领域，具体公开了一种实现Hbase二级索引的方法，包括如下步骤，S1：Hbase store中进行扩展，在原先存储结构的基础上扩展一层lucene索引，lucene索引与MemStore和StoreFile位于同一个进程内，不需要跨进程交互；S2：将lucene作为对Hfile的补充，与Hbase上层写入对接，写入Hfile或MemStore的同时也会将数据写入到lucene，且lucene索引也会随着store的逻辑进行合并或拆分操作；S3：lucene的存储与Hfile一样，基于HDFS存储，存储规则与HDFS相同，基于表名，列簇，regin分散在不同的HDFS目录上；S4：查询时，结合scan根据不同的查询，自动适配查询，原有的逻辑转发到lucene之上，借助lucene实现Hbase二级索引的功能；本发明专利技术补足了Hbase只能做KV查询的局限性，使得Hbase既有KV查询性能，又有lucene全文检索、多维筛选的特性。

【技术实现步骤摘要】
一种实现Hbase二级索引的方法
本专利技术涉及大数据查询处理
，具体为一种实现Hbase二级索引的方法。
技术介绍
近年来，随着物联网、社交网络、云计算等技术不断融入我们的生活以及现有的计算能力、存储空间、网络带宽的高速发展，人类积累的数据在互联网、通信、金融、商业、医疗等诸多领域不断地增长和累积。到2020年，平均下来，一个人每天会产生1.5GB的数据，每辆车会产生4TB的数据，每架飞机会产生40TB的数据，每个小型的工厂会产生1PB的数据。如此巨大的数据面临的主要问题：1：不同场景需使用不同的系统，学习与维护成本高。2：每个系统里都要单独存放一份数据，数据存储成本高。3：多个系统之间交互麻烦，会形成数据孤岛。Hbase是一个开源的非关系型分布式数据库，它参考了谷歌的BigTable建模，实现的编程语言为Java。它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为Hadoop提供类似于BigTable规模的服务。因此，它可以容错地存储海量稀疏的数据。Hbase是本文档来自技高网...

【技术保护点】
1.一种实现Hbase二级索引的方法，其特征在于：包括如下步骤:/nS1：Hbase store中进行扩展，在原先存储结构的基础上扩展一层lucene索引，lucene索引与MemStore和StoreFile位于同一个进程内，不需要跨进程交互；/nS2：将lucene作为对Hfile的补充，与Hbase上层写入对接，写入Hfile或MemStore的同时也会将数据写入到lucene，且lucene索引也会随着store的逻辑进行合并或拆分操作；/nS3：lucene的存储与Hfile一样，基于HDFS存储，存储规则与HDFS相同，基于表名，列簇，regin分散在不同的HDFS目录上；/nS4...

【技术特征摘要】
1.一种实现Hbase二级索引的方法，其特征在于：包括如下步骤:
S1：Hbasestore中进行扩展，在原先存储结构的基础上扩展一层lucene索引，lucene索引与MemStore和StoreFile位于同一个进程内，不需要跨进程交互；
S2：将lucene作为对Hfile的补充，与Hbase上层写入对接，写入Hfile或MemStore的同时也会将数据写入到lucene，且lucene索引也会随着store的逻辑进行合并或拆分操作；
S3：lucene的存储与Hfile一样，基于HDFS存储，存储规则与HDFS相同，基于表名，列簇，regin分散在不同的HDFS目录上；
S4：查询时，结合scan根据不同的查询，自动适配查询，原有的逻辑转发到lucene之上，借助lucene实现Hbase二级索引的功能。


2.根据权利要求1所述的一种实现Hbase二级索引的方...

【专利技术属性】
技术研发人员：母延年，于昆鹏，陈雨，孙国良，
申请(专利权)人：南京好鱼科技有限公司，
类型：发明
国别省市：江苏;32