一种基于协处理器的HBase二级内存索引构建方法技术

本发明专利技术公开一种基于协处理器的HBase二级内存索引构建方法，包括步骤：初始化原始HBase数据表；根据原始数据表使用协处理器初始化二级索引；根据原始数据表的更新，通过协处理器数据更新二级索引并构建内存索引结构；数据表分片操作；对分片的数据表初始化二级索引并构建内存索引结构；将构建的内存索引通过内存持久化方法持久化存储到磁盘上。本发明专利技术能够实现HBase二级内存索引的构建及持久化存储，弥补了原生HBase数据库只支持通过全盘扫描的方式进行非主键查询的缺点，提高了HBase非主键检索的效率，保证了索引的可用性和容错性。

【技术实现步骤摘要】
一种基于协处理器的HBase二级内存索引构建方法
本专利技术涉及一种基于协处理器的HBase二级内存索引构建方法，属于NoSQL技术优化领域，尤其涉及一种基于协处理器的HBase二级内存索引构建方法。
技术介绍
随着大数据时代的到来，传统的关系型数据库难以处理无规范模式的数据集，并且随着数据集规模的增大，不能提供高效的存储和查询服务，不能满足系统的新需求。在此背景下，越来越多的大数据系统和NoSQL(Not-Only-SQL即非关系型数据库)被开发出来，HBase便是其中之一。HBase由多个软件子系统组成，主要包括客户端、HMaster、HRegionServer、Zookeeper等，这些子系统共同组成一个分布式应用系统，它具有开源、分布式、可扩展及面向列存储的特点，能够为大数据提供随机、实时的读写访问功能。HBase在其主键上建立了B+树索引，在使用主键进行查询时效率很高。但是，在进行非主键的条件查询时，由于缺少主键的支撑，HBase必须进行全表扫描，导致查询效率低下，无法满足上述要求，如何提高HBase的检索速度，使其支本文档来自技高网...

【技术保护点】
1.一种基于协处理器的HBase二级内存索引构建方法，其特征在于，包括步骤：/n(1)初始化原始HBase数据表；/n(2)通过协处理器对原始HBase数据表的非主键初始化二级索引；/n(3)当HBase数据表进行更新操作时，更新二级索引；/n(4)构建所述二级索引的内存索引结构；/n(5)当数据表超过预分片大小时，对数据表进行分片操作；/n(6)分片后，初始化二级索引，并构建对应的内存索引结构；/n(7)将构建的内存索引通过内存持久化方法持久化存储到磁盘上。/n

【技术特征摘要】
1.一种基于协处理器的HBase二级内存索引构建方法，其特征在于，包括步骤：
(1)初始化原始HBase数据表；
(2)通过协处理器对原始HBase数据表的非主键初始化二级索引；
(3)当HBase数据表进行更新操作时，更新二级索引；
(4)构建所述二级索引的内存索引结构；
(5)当数据表超过预分片大小时，对数据表进行分片操作；
(6)分片后，初始化二级索引，并构建对应的内存索引结构；
(7)将构建的内存索引通过内存持久化方法持久化存储到磁盘上。


2.根据权利要求1所述的一种基于协处理器的HBase二级内存索引构建方法，其特征在于：步骤(2)中，所述原始HBase...

【专利技术属性】
技术研发人员：娄渊胜，叶枫，朱松杰，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32