用于查询过滤HBase服务器数据的方法及装置制造方法及图纸

本申请公开一种用于查询过滤HBase服务器数据的方法及装置，该方法包括：响应客户端指令，调用HBase协处理器；通过所述HBase协处理器获取查询请求；以及通过预定配置与所述查询请求，生成查询结果。本申请的用于查询过滤HBase服务器数据的方法，能够极大地提高HBase服务器的数据查询效率。

Method and device for querying and filtering HBase server data

The invention discloses a method and a device for query filtering HBase server data, the method comprises: a response to a client instruction, call the HBase coprocessor; get the query request through the HBase coprocessor; and requested by a predetermined configuration and the query, the query results generated. The method used for querying and filtering HBase server data can greatly improve the data inquiry efficiency of the HBase server.

【技术实现步骤摘要】
用于查询过滤HBase服务器数据的方法及装置
本专利技术涉及数据处理和数据查询
，具体而言，涉及一种用于查询过滤HBase服务器数据的方法及装置。
技术介绍
伴随着互联网技术的快速发展，网络的数据量正以极快的速度增长，分布式集群、分布式数据库、分布式应用等各种技术已经成为人们关注的焦点。分布式集群Hadoop是大数据时代的产品，能够解决大数据时代的海量数据处理问题。HBase是基于Hadoop之上的一个面向列的分布式数据库，为分布式应用提供了一种可扩展的、高性能的存储方案，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。HBase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程序模型中获益。HBase本身就是十分强大的数据库，它能够融合key/value存储模式带来实时查询的能力，以及通过MapReduce进行离线处理或者批处理的能力。如上文所述，目前HBase主要应用在结构化和半结构化的大数据存储上，其在存储上和读取上都具有极高的性能表现。但是，HBase不能支持条件、排序查询，只支持按照主键和主键的范围来查询。如果存储的数据量非常大，查询过程中必然造成通信时间延长，出现大量的网络IO，极大地降低了查询性能。因此，需要一种新的用于查询过滤HBase服务器数据的方法及装置。在所述
技术介绍
部分公开的上述信息仅用于加强对本专利技术的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。专利技术内容有鉴于此，本专利技术提供一种用于查询过滤HBase服务器数据的方法及装置，能够极大地提高HBase服务器的数据查询效率。本专利技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。根据本专利技术的一方面，提出一种用于查询过滤HBase服务器数据的方法，该方法包括：响应客户端指令，调用HBase协处理器；通过所述HBase协处理器获取查询请求；以及通过预定配置与查询请求，生成查询结果。在本公开的一种示例性实施例中，还包括：通过HBase协处理器定义第一远程过程调用协议。在本公开的一种示例性实施例中，还包括：通过HBase协处理器定义查询过滤类。在本公开的一种示例性实施例中，通过HBase协处理器定义查询过滤类，包括：HBase协处理器继承第一远程过程调用协议；通过所述HBase协处理器的所述第一远程过程调用协议实现CoprocessorService与Coprocessor接口；以及重写HBase协处理器的第一远程过程调用协议方法。在本公开的一种示例性实施例中，预定配置包括：在HBase集群的配置文件中配置查询过滤协处理器类；以及对HBase的表配置查询过滤的协处理器类。在本公开的一种示例性实施例中，在HBase集群的配置文件中配置查询过滤协处理器类，包括：通过hbase-site.xml文件的hbase.coprocessor.region.classes属性添加查询过滤的协处理器类。在本公开的一种示例性实施例中，对HBase的表配置查询过滤的协处理器类，包括：通过hbaseshell对HBase的表的coprocessor参数进行查询过滤协处理器类配置。在本公开的一种示例性实施例中，还包括：对每个RegionServer启动一个线程来处理请求。根据本专利技术的一方面，提出一种用于查询过滤HBase服务器数据的方法，该方法包括：构建查询请求；发送查询请求至HBase服务器；以及通过coprocessorService方法获取返回结果。在本公开的一种示例性实施例中，构建查询请求，包括：通过HBase协处理器的终端构建查询请求。在本公开的一种示例性实施例中，通过HBase协处理器的终端构建查询请求，包括：定义用于进程通信的proto文件。在本公开的一种示例性实施例中，proto文件，包括：结构化数据Message：结构化数据Message包括：请求输入消息与返回消息。在本公开的一种示例性实施例中，还包括：远程过程调用服务接口Service：所述远程过程调用服务接口Service包括：定义第一远程过程调用协议。在本公开的一种示例性实施例中，还包括：第一远程过程调用协议方法；所述第一远程过程调用协议方法包括：传入请求消息，输出返回消息。根据本专利技术的一方面，提出一种用于查询过滤HBase服务器数据的装置，该装置包括：加载模块，用于响应客户端指令，调用HBase协处理器；接收模块，用于通过所述HBase协处理器获取查询请求；以及查询模块，用于通过预定配置与查询请求，生成查询结果。在本公开的一种示例性实施例中，查询模块包括：配置文件子模块，用于在HBase集群的配置文件中配置查询过滤协处理器类；以及配置表子模块，用于对HBase的表配置查询过滤的协处理器类。根据本专利技术的一方面，提出一种用于查询过滤HBase服务器数据的装置，该装置包括：包括：构建模块，用于构建查询请求；发送模块，用于发送查询请求至HBase服务器；以及结果模块，用于通过coprocessorService方法获取返回结果。根据本专利技术的用于查询过滤HBase服务器数据的方法及装置，能够极大地提高HBase服务器的数据查询效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本专利技术。附图说明通过参照附图详细描述其示例实施例，本专利技术的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据一示例性实施例示出的一种用于查询过滤HBase服务器数据的方法的流程图。图2是根据另一示例性实施例示出的一种用于查询过滤HBase服务器数据的方法的流程图。图3是根据一示例性实施例示出的一种用于查询过滤HBase服务器数据的装置的框图。图4是根据另一示例性实施例示出的一种用于查询过滤HBase服务器数据的装置的框图。图5是根据另一示例性实施例示出的一种用于查询过滤HBase服务器数据的装置的框图。具体实施例现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本专利技术将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本专利技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本专利技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本专利技术的各方面。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体本文档来自技高网...

【技术保护点】
一种用于查询过滤HBase服务器数据的方法，其特征在于，包括：响应客户端指令，调用HBase协处理器；通过所述HBase协处理器获取查询请求；以及通过预定配置与所述查询请求，生成查询结果。

【技术特征摘要】
1.一种用于查询过滤HBase服务器数据的方法，其特征在于，包括：响应客户端指令，调用HBase协处理器；通过所述HBase协处理器获取查询请求；以及通过预定配置与所述查询请求，生成查询结果。2.如权利要求1所述的方法，其特征在于，还包括：通过所述HBase协处理器定义第一远程过程调用协议。3.如权利要求2所述的方法，其特征在于，还包括：通过所述HBase协处理器定义查询过滤类。4.如权利要求1所述的方法，其特征在于，所述预定配置包括：在HBase集群的配置文件中配置查询过滤协处理器类；以及对HBase的表配置查询过滤的协处理器类。5.如权利要求1所述的方法，其特征在于，还包括：对每个RegionServer启动一个线程来处理请求。6.一种用于查询过滤HBase服务器数据的方法，其特征在于，包括：构建查询请求；发送所述查询请求至HBase服务...

【专利技术属性】
技术研发人员：张家锋，曾明，陈刚，彭丽，李京，
申请(专利权)人：聚龙融创科技有限公司，
类型：发明
国别省市：北京,11