日志数据的查询方法及装置制造方法及图纸

本发明专利技术提供一种日志数据的查询方法及装置。所述查询方法包括：获取日志数据的查询语句，解析查询语句中所包括的日志数据的数据属性，以及存储地址；依据存储地址，确定日志数据的存储节点以及存储节点对应的数据存储量；为存储节点配置与数据存储量对应的计算力；基于计算力查询获取存储地址中与数据属性对应的日志数据。通过根据存储节点对应的数据存储量分配给存储节点的合适计算力，给需要更多计算力的存储节点分配更多的计算资源，加快查询的速度。并且通过在查询语句中增加相应的日志数据产生时间、类型，以及存储地址这些限定项，便于根据这些限定项锁定较小的查询范围，减少要查询日志的数量，从而加快查询的速度。从而加快查询的速度。从而加快查询的速度。

【技术实现步骤摘要】
日志数据的查询方法及装置


[0001]本专利技术涉及数据处理
，尤其涉及一种日志数据的查询方法及装置。

技术介绍

[0002]由于烟草厂商产生的日志报文数据的数据量较大，因此使用非关系型的数据库（not only SQL，NOSQL）作为存储方式。通常情况下，通过部署存储服务器集群，采用多节点，多分区的存储方式对日志报文数据进行集中存储，也即采用分布式存储系统对日志报文数据进行集中存储。在对日志进行结构化查询语言（structured query language，SQL）查询时也可以采用SQL查询语句直接对多节点，多分区的日志报文数据进行查询。
[0003]采用现有技术中的分布式存储系统对应的存储方法存储日志报文数据时，需要遍历所有存储节点才能获取得到查询数据，因此存在查询速度慢的缺点。

技术实现思路

[0004]本专利技术提供一种日志数据的查询方法及装置，用以解决现有技术中查询速度慢的缺陷，实现合理设置存储节点数量及分配计算资源，从而提高查询速度、减少计算资源的浪费。
[0005]本专利技术提供一种日志本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志数据的查询方法，其特征在于，包括：获取日志数据的查询语句，解析所述查询语句中所包括的日志数据的数据属性以及存储地址；依据所述存储地址，确定所述日志数据的存储节点以及所述存储节点对应的数据存储量；为所述存储节点配置与所述数据存储量对应的计算力；基于所述计算力查询获取所述存储地址中与所述数据属性对应的日志数据。2.根据权利要求1所述的日志数据的查询方法，其特征在于，所述依据所述存储地址，确定所述日志数据的存储节点以及所述存储节点对应的数据存储量，包括：依据所述存储地址，确定至少一个存储节点；基于与所述至少一个存储节点中每个存储节点分别对应的数据源产生的日志数据的数据量确定所述至少一个存储节点中每个存储节点对应的数据存储量。3.根据权利要求2所述的日志数据的查询方法，其特征在于，所述为所述存储节点配置与所述数据存储量对应的计算力，包括:计算所述至少一个存储节点中每一个存储节点对应的数据存储量与多个数据源对应的所有存储节点的数据存储量中的比值；根据所述比值给对应的每一个存储节点分配相应的计算力。4.根据权利要求1所述的日志数据的查询方法，其特征在于，在所述获取日志数据的查询语句之前，所述方法还包括：根据多个数据源中产生的日志数据的数据量确定所需的存储节点的数量。5.根据权利要求4所述的日志数据的查询方法，其特征在于，所述根据多个数据源中产生的日志数据的数据量确定所需的存储节点的数量，包括：在所述多个数据源产生的日志数据的数据量小于或等于第一预设阈值情况下，为所述多个数据源配置一个存储节点；在所述多个数据源产生的日志数据的数据量大于第一预设阈值，且小于或等于第二预设阈值情况下，为所述多个数据源中的每个数据源配置一个对应的存储...

【专利技术属性】
技术研发人员：周磊，姜双林，饶志波，王晓辉，
申请(专利权)人：北京安帝科技有限公司，
类型：发明
国别省市：