基于标识符空间映射的大数据二级索引构建方法技术

本发明专利技术提出了一种基于标识符空间映射的大数据二级索引构建方法，包括：根据查询属性生成索引条目，利用Baton协议组织索引节点及索引条目，建立Baton索引组织；数据处理节点在查询非Rowkey属性时，将查询所需数据请求发送给索引节点，索引节点通过Baton路由协议将数据检索请求发送到需检索索引条目所在的索引节点，所述索引节点通过物理地址获取所需数据，并发送给相应的数据处理节点。本发明专利技术有益效果：二级索引构建技术改进了HBase不支持索引构建与使用的缺点；利用云计算资源管理大量的属性索引，满足大量数据分析处理的二级索引需求；数据的检索与获得由索引节点完成，减轻了数据处理节点的负担，提高数据处理的效率。

【技术实现步骤摘要】

本专利技术涉及大数据处理领域，尤其涉及一种大数据二级索引构建方法。
技术介绍
在企业信息化与智能化过程中，数据量快速增长，业务数据种类也呈现多样化趋势。建立高效的企业智能决策支持系统，需要一种大数据管理系统，将各类业务数据统一存储，并提供正确、快速数据分析处理能力。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，为大数据存储与分析处理提供较为完备的解决方案。然而，HBase不支持二级索引，当需要查询非Rowkey属性时只能通过全表扫描方式，数据分析效率严重降低。为大数据建立索引，需要管理大量的索引条目，这需要利用云计算资源完成。而且，HBase的存储单位为HFile，HFile是一种分布式存储，不同于传统的磁盘存储，所以原有的磁盘索引不再适用。因此，结合大数据特征，本文给出一种HBase二级索引构建方法。
技术实现思路
本专利技术的目的就是为了支持大数据在HBase的高效数据分析处理，提出了一种基于标识符空间映射的大数据二级索引构建方法，该方法能够满足以下需求：1)可管理多种业务数据的索引及大量的索引条目；2)索引查询操作时间高效；3)适应HBase的分布式存储结构；4)利用云计算资源管理二级索引，并保证负载均衡。为了解决上述问题，本专利技术采用如下技术方案：一种基于标识符空间映射的大数据二级索引构建方法，包括以下步骤：(1)根据查询属性生成索引条目，利用Baton协议组织索引节点及索引条目，建立Baton索引组织；(2)查询操作：数据处理节点在查询非Rowkey属性时，将查询所需数据请求发送给索引节点，索引节点通过Baton路由协议将数据检索请求发送到需检索索引条目所在的索引节点，所述索引节点通过物理地址获取所需数据，并发送给相应的数据处理节点。所述步骤(1)中建立索引组织的方法包括：a)对所有的属性索引统一编号；每一个属性索引都由若干索引条目组成，设ej为索引条目，Ii为属性索引，则Ii＝∪{ej本文档来自技高网...

【技术保护点】
一种基于标识符空间映射的大数据二级索引构建方法，其特征是，包括以下步骤：(1)根据查询属性生成索引条目，利用Baton协议组织索引节点及索引条目，建立Baton索引组织；(2)查询操作：数据处理节点在查询非Rowkey属性时，将查询所需数据请求发送给索引节点，索引节点通过Baton路由协议将数据检索请求发送到需检索索引条目所在的索引节点，所述索引节点通过物理地址获取所需数据，并发送给相应的数据处理节点。

【技术特征摘要】
1.一种基于标识符空间映射的大数据二级索引构建方法，其特征是，包括以下步骤：
(1)根据查询属性生成索引条目，利用Baton协议组织索引节点及索引条目，建立Baton
索引组织；
(2)查询操作：数据处理节点在查询非Rowkey属性时，将查询所需数据请求发送给索
引节点，索引节点通过Baton路由协议将数据检索请求发送到需检索索引条...

【专利技术属性】
技术研发人员：马艳，郭志红，陈玉峰，
申请(专利权)人：国家电网公司，国网山东省电力公司电力科学研究院，
类型：发明
国别省市：山东;37