一种时序库的数据查询方法、装置、设备及存储介质制造方法及图纸

技术编号:30438391 阅读:22 留言:0更新日期:2021-10-24 17:42
本发明专利技术实施例公开了一种时序库的数据查询方法,包括:响应于数据查询指令,获取查询条件,识别出查询条件中的待查询数据的数据类型;通过与数据类型对应的分区器获取与查询条件对应的时序库分表名称;在时序库中查找时序库分表名称对应的时序库分表,获取待查询数据。本发明专利技术实施例提供的时序库的数据查询方法,通过响应数据查询指令确定相应的时序库分表名称,再查找对应的时序库分表获取数据,提升了时序库中数据查询的速度。升了时序库中数据查询的速度。升了时序库中数据查询的速度。

【技术实现步骤摘要】
一种时序库的数据查询方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
,尤其涉及一种时序库的数据查询方法、装置、设备及存储介质。

技术介绍

[0002]时序库Druid是一个分布式的、支持实时多维OLAP分析的数据处理系统。它既支持高速的数据实时摄入处理,也支持实时且灵活的多维数据分析查询。因此Druid最常用的场景就是大数据背景下,灵活快速的多维OLAP分析。
[0003]生产环境下时序库Druid一张表的数据量很大,查询速度已经慢到影响正常使用。

技术实现思路

[0004]本专利技术实施例提供了一种时序库的数据查询方法、装置、设备及存储介质,实现了对时序库中数据查询速度的提升。
[0005]第一方面,本专利技术实施例提供了一种时序库的数据查询方法,包括:
[0006]响应于数据查询指令,获取查询条件,识别出所述查询条件中的待查询数据的数据类型;
[0007]通过与所述数据类型对应的分区器获取与所述查询条件对应的时序库分表名称;
[0008]在所述时序库中查找所述时序库分表名称对应的时序库分表,获取所述待查询数据。
[0009]进一步地,通过与所述数据类型对应的分区器获取与所述查询条件对应的时序库分表名称,包括:
[0010]将所述查询条件作为输入数据输入所述分区器,获得输出的所述时序库分表的序号;
[0011]获取所述数据类型对应的时序库存储表,结合所述时序库分表的序号确定所述时序库分表名称;其中,每个数据类型对应一个时序库存储表,每个时序库存储表包括至少一个时序库分表。
[0012]进一步地,响应于数据查询指令之前,还包括:
[0013]根据确定的各时序库分表名称,进行所述待存入数据到所述时序库的存储。
[0014]进一步地,根据确定的各时序库分表名称,进行所述待存入数据到所述时序库的存储,包括:
[0015]读取配置文件,获取各数据类型对应的时序库分表数量;
[0016]按照所述时序库分表数量对各时序库分表进行编号,确定各时序库分表名称;
[0017]按照所述时序库分表名称将待存入数据存入所述时序库。
[0018]进一步地,按照所述时序库分表名称将待存入数据存入所述时序库,包括:
[0019]获取所述待存入数据的分表键并确定与所述分表键对应的主题名称;
[0020]调用设定应用程序接口创建所述主题名称,并将所述待存入数据存入时序库中与
所述主题名称对应的时序库分表中。
[0021]进一步地,按照所述时序库分表名称将待存入数据存入所述时序库之后,还包括:
[0022]对所述时序库中所存储的数据进行管理。
[0023]进一步地,对所述时序库中所存储的数据进行管理,包括:
[0024]读取配置文件和模板文件;
[0025]遍历所述时序库中的时序库存储表,根据所述配置文件和时序库存储表对所述模板文件进行填充;
[0026]将填充好的模板文件提交至管理节点,令所述管理节点根据接收到的指令下发相应任务对所述时序库中的数据进行管理。
[0027]第二方面,本专利技术实施例还提供了一种时序库的数据查询装置,包括:
[0028]数据类型识别模块,用于响应于数据查询指令,获取查询条件,识别出所述查询条件中的待查询数据的数据类型;
[0029]时序库分表名称获取模块,用于通过与所述数据类型对应的分区器获取与所述查询条件对应的时序库分表名称;
[0030]待查询数据获取模块,用于在所述时序库中查找所述时序库分表名称对应的时序库分表,获取所述待查询数据。
[0031]可选的,时序库分表名称获取模块还用于:
[0032]将所述查询条件作为输入数据输入所述分区器,获得输出的所述时序库分表的序号;
[0033]获取所述数据类型对应的时序库存储表,结合所述时序库分表的序号确定所述时序库分表名称;其中,每个数据类型对应一个时序库存储表,每个时序库存储表包括至少一个时序库分表。
[0034]可选的,时序库的数据查询装置还包括数据存储模块,用于根据确定的各时序库分表名称,进行所述待存入数据到所述时序库的存储。
[0035]可选的,数据存储模块还用于:
[0036]读取配置文件,获取各数据类型对应的时序库分表数量;
[0037]按照所述时序库分表数量对各时序库分表进行编号,确定各时序库分表名称;
[0038]按照所述时序库分表名称将待存入数据存入所述时序库。
[0039]可选的,数据存储模块还用于:
[0040]获取所述待存入数据的分表键并确定与所述分表键对应的主题名称;
[0041]调用设定应用程序接口创建所述主题名称,并将所述待存入数据存入时序库中与所述主题名称对应的时序库分表中。
[0042]可选的,时序库的数据查询装置还包括数据管理模块,用于对所述时序库中所存储的数据进行管理。
[0043]可选的,数据管理模块还用于:
[0044]读取配置文件和模板文件;
[0045]遍历所述时序库中的时序库存储表,根据所述配置文件和时序库存储表对所述模板文件进行填充;
[0046]将填充好的模板文件提交至管理节点,令所述管理节点根据接收到的指令下发相
storage;
[0065]协调节点114:可以认为是Druid中的管理节点,其通过zookeeper管理历史节点112和实时节点113,且通过关系型数据库管理系统(MySQL)中的元数据(metadata)管理segments。
[0066]除上述节点之外,Druid通常还有一些索引服务(IndexeingService)用于数据导入,批量数据(batchdata)和流数据(streamingdata)都可以通过给IndexeingService发请求来导入数据。
[0067]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本专利技术,而非对本专利技术的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本专利技术相关的部分而非全部结构。
[0068]实施例一
[0069]图2为本专利技术实施例一提供的一种时序库的数据查询方法流程图,本实施例可适用于在时序库中进行数据查询的情况,该方法可以由时序库的数据查询装置来执行,该装置可由硬件和/或软件组成,并一般可集成在具有时序库的数据查询功能的设备中,该设备可以是服务器或服务器集群等电子设备。如图2所示,具体包括如下步骤:
[0070]步骤110、响应于数据查询指令,获取查询条件,识别出查询条件中的待查询数据的数据类型。
[0071]其中,数据查询指令可以是用户发出的对时序库中的数据进行查询的指令,数据查询指令中包含查询条件,查询条件可以是表征待查询数据的数据类型等特征的信息。
[0072]在本实施例中,接收到数据查询指令本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种时序库的数据查询方法,其特征在于,包括:响应于数据查询指令,获取查询条件,识别出所述查询条件中的待查询数据的数据类型;通过与所述数据类型对应的分区器获取与所述查询条件对应的时序库分表名称;在所述时序库中查找所述时序库分表名称对应的时序库分表,获取所述待查询数据。2.根据权利要求1所述的方法,其特征在于,通过与所述数据类型对应的分区器获取与所述查询条件对应的时序库分表名称,包括:将所述查询条件作为输入数据输入所述分区器,获得输出的所述时序库分表的序号;获取所述数据类型对应的时序库存储表,结合所述时序库分表的序号确定所述时序库分表名称;其中,每个数据类型对应一个时序库存储表,每个时序库存储表包括至少一个时序库分表。3.根据权利要求1所述的方法,其特征在于,响应于数据查询指令之前,还包括:根据确定的各时序库分表名称,进行所述待存入数据到所述时序库的存储。4.根据权利要求3所述的方法,其特征在于,根据确定的各时序库分表名称,进行所述待存入数据到所述时序库的存储,包括:读取配置文件,获取各数据类型对应的时序库分表数量;按照所述时序库分表数量对各时序库分表进行编号,确定各时序库分表名称;按照所述时序库分表名称将待存入数据存入所述时序库。5.根据权利要求4所述的方法,其特征在于,按照所述时序库分表名称将待存入数据存入所述时序库,包括:获取所述待存入数据的分表键并确定与所述分表键对应的主题名称;调用设定应用程序接口创建所述主题名称,并将所述待存入数据存...

【专利技术属性】
技术研发人员:王广阶张俊杰程强毛勇岗
申请(专利权)人:北京锐安科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1