Hbase制造技术

本申请公开了一种

【技术实现步骤摘要】
Hbase数据库数据查询的方法、装置、电子设备及存储介质


[0001]本申请属于移动通信
，具体涉及一种
Hbase
数据库数据查询的方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]Hbase
数据库是大数据项目中支持毫秒级实时查询的数据库，应用广泛
。
在
HBase
数据库中，行键
Rowkey
是用来检索记录的主键
。
[0003]相关技术中，根据查询语句中的待查询字段对应查询
Rowkey
值以在
Hbase
数据库中获取需要的数据
。
但当该待查询字段给定的是一个范围，例如一条查询语句需要查询“2022
年8月某用户的话费信息”，由于待查询字段“2022
年8月”给定的是一个时间范围，查询出的
rowkey
值对应的也是一个范围，且查询之前无法得知该范围内有多少条数据，有的用户多，有的用户少，因此，当该范围内数据量越大，查询耗时越长
。
[0004]即相关技术在
Hbase
数据库中进行大数据量的查询时，存在查询效率低的问题
。

技术实现思路

[0005]本申请实施例提供一种
Hbase
数据库数据查询的方法
、
装置
、
电子设备及存储介质，能够解决相关技术在
Hbase
数据库中进行大数据量的查询时，查询效率低的问题
。
[0006]第一方面，本申请实施例提供了一种
Hbase
数据库数据查询的方法，该方法包括：接收用于查询
Hbase
数据库中数据的查询语句，所述查询语句中包括第一待查询字段，所述第一待查询字段为限定查询范围的字段；根据目标字段限定的查询范围和所述目标字段对应的所述
Hbase
数据库中的存储字段的设定粒度单位，对所述查询语句进行拆分，所述目标字段为第一待查询字段，或，基于用户需求信息从多个第一待查询字段中确定的一个第一待查询字段；根据拆分后的查询语句，确定所述拆分后的查询语句对应的多个查询任务；基于分布式应用程序协调服务软件
ZooKeeper
节点和任务执行程序，分布式处理所述拆分后的查询语句对应的多个查询任务，得到从所述
Hbase
库中获取的所述多个查询任务对应的多个查询数据；对所述多个查询数据进行合并，得到查询结果并返回
。
[0007]第二方面，本申请实施例提供了一种
Hbase
数据库数据查询的装置，包括：接收模块，用于接收用于查询
Hbase
数据库中数据的查询语句，所述查询语句中包括第一待查询字段，所述第一待查询字段为限定查询范围的字段；确定模块，用于根据目标字段限定的查询范围和所述目标字段对应的所述
Hbase
数据库中的存储字段的设定粒度单位，对所述查询语句进行拆分，所述目标字段为第一待查询字段，或，基于用户需求信息从多个第一待查询字段中确定的一个第一待查询字段；拆分模块，用于根据拆分后的查询语句，确定所述拆分后的查询语句对应的多个查询任务；获取模块，用于基于
ZooKeeper
节点和任务执行程序，分布式处理所述拆分后的查询语句对应的多个查询任务，得到从所述
Hbase
库中获取的所述多个查询任务对应的多个查询数据；返回模块，用于对所述多个查询数据进行合并，得到查询结果并返回
。
[0008]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器
、
以及被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令被所述处理器执行时实现如第一方面所述的方法的步骤
。
[0009]第四方面，本申请实施例提供了一种存储介质，所述存储介质用于存储计算机可执行指令，所述计算机可执行指令使得计算机执行时实现如第一方面所述的方法的步骤
。
[0010]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行可执行指令，实现如第一方面所述的方法
。
[0011]在本申请实施例中，通过接收用于查询
Hbase
数据库中数据的查询语句
(
查询语句中包括第一待查询字段，第一待查询字段为限定查询范围的字段
)
，根据目标字段
(
目标字段为第一待查询字段，或，基于用户需求信息从多个第一待查询字段中确定的一个第一待查询字段
)
限定的查询范围和目标字段对应的
Hbase
数据库中的存储字段的设定粒度单位，对查询语句进行拆分，根据拆分后的查询语句，确定拆分后的查询语句对应的多个查询任务，将查询语句对应的一个查询任务拆分成多个查询任务；再基于
ZooKeeper
节点和任务执行程序，分布式处理拆分后的查询语句对应的多个查询任务，得到从
Hbase
库中获取的多个查询任务对应的多个查询数据，相比于相关技术中，根据查询语句对应的一个查询任务进行较大范围的大数据取出，本方案中将一个查询任务拆分成多个查询任务，再分布式执行多个查询任务，每个查询任务处理的数据量相对较少且同时进行，得到查询数据的速度更快，从而提高了返回查询结果的速度，最终提高了查询效率，解决了相关技术在
Hbase
数据库中进行大数据量的查询时，查询效率低的问题
。
附图说明
[0012]图1是本申请实施例提供的一种
Hbase
数据库数据查询的方法的流程示意图；
[0013]图2是本申请实施例提供的另一种
Hbase
数据库数据查询的方法的流程示意图；
[0014]图3是本申请实施例提供的
Hbase
数据库数据查询装置的结构示意图；
[0015]图4是本申请实施例提供的电子设备的结构示意图
。
具体实施方式
[0016]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围
。
[0017]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
Hbase
数据库数据查询的方法，其特征在于，包括：接收用于查询
Hbase
数据库中数据的查询语句，所述查询语句中包括第一待查询字段，所述第一待查询字段为限定查询范围的字段；根据目标字段限定的查询范围和所述目标字段对应的所述
Hbase
数据库中的存储字段的设定粒度单位，对所述查询语句进行拆分，所述目标字段为第一待查询字段，或，基于用户需求信息从多个第一待查询字段中确定的一个第一待查询字段；根据拆分后的查询语句，确定所述拆分后的查询语句对应的多个查询任务；基于分布式应用程序协调服务软件
ZooKeeper
节点和任务执行程序，分布式处理所述拆分后的查询语句对应的多个查询任务，得到从所述
Hbase
库中获取的所述多个查询任务对应的多个查询数据；对所述多个查询数据进行合并，得到查询结果并返回
。2.
根据权利要求1所述的方法，其特征在于，若所述目标字段为基于用户需求信息从多个第一待查询字段中确定的一个第一待查询字段，在所述根据目标字段限定的查询范围和所述目标字段对应的所述
Hbase
数据库中的存储字段的设定粒度单位，对所述查询语句进行拆分之前，还包括：基于所述查询语句和所述
Hbase
数据库中的存储字段的设定粒度单位
、
存储字段对应数据的修改次数，确定包括多个存储字段的信息的融合特征；将所述融合特征输入预先训练的神经网络模型，所述预先训练的神经网络模型输出所述多个存储字段中每个存储字段对应的拆分概率；确定所述多个存储字段中拆分概率最高的存储字段对应的第一待查询字段为目标字段
。3.
根据权利要求2所述的方法，其特征在于，所述基于所述查询语句和所述
Hbase
数据库中的存储字段的设定粒度单位
、
存储字段对应数据的修改次数，确定包括多个存储字段的信息的融合特征，包括：确定所述查询语句中是否存在目标存储字段对应的第一待查询字段，若存在，则根据所述目标存储字段对应的第一待查询字段限定的查询范围和所述目标存储字段的设定粒度单位，确定所述目标存储字段的拆分比，其中，所述目标存储字段为所述
Hbase
数据库中多个存储字段中的一个存储字段；若不存在，则确定所述目标存储字段的拆分比为0；根据所述目标存储字段对应数据的修改次数和所述多个存储字段对应数据的修改次数，确定所述目标存储字段对应数据的修改次数占比；确定包括所述多个存储字段中每个存储字段的信息的融合特征，所述每个存储字段的信息为所述目标存储字段的拆分比和所述目标存储字段对应数据的修改次数占比
。4.
根据权利要求2所述的方法，其特征在于，所述预先训练的神经网络模型为深度前馈
DFF
神经网络模型，所述
DFF
神经网络模型包括输入层
、
多个隐藏层及输出层
。5.
根据权利要求1至3中任一项所述的方法，其特征在于，所述
Hbase
数据库中的存储字段包括：时间字段
、...

【专利技术属性】
技术研发人员：李春梅，李波，董发志，林辉，李艳，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：