基于人工智能的日志数据统计方法及相关设备技术

本申请提出一种基于人工智能的日志数据统计方法、装置、电子设备及存储介质，基于人工智能的日志数据统计方法包括：依据搜索系统接收日志数据统计请求，并对所述统计请求进行验证；若验证通过，则所述搜索系统依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集；依据预设阈值划分所述第一目标数据集以获取第二目标数据集；依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集；依据所述目标索引数据集进行数据统计以获取目标日志数据。本申请可以在节省日志数据的存储空间的基础上利用构建的索引值对日志数据进行快速统计，提高大规模日志数据的统计效率。效率。效率。

Log data statistics method and related equipment based on Artificial Intelligence

【技术实现步骤摘要】
基于人工智能的日志数据统计方法及相关设备


[0001]本申请涉及人工智能
，尤其涉及一种基于人工智能的日志数据统计方法、装置、电子设备及存储介质。

技术介绍

[0002]Elasticsearch(简称ES)是一种基于Lucene底层技术的分布式全文搜索服务器，通过提高数据入库与过滤性能的机制，能够在一定程度上实现快速查询。
[0003]日志的分析统计是日志系统工作中的重要依据，业界许多日志系统都把日志存储在Elasticsearch集群中。然而，当对大规模的日志数据进行统计分析时，Elasticsearch集群响应会很缓慢或者直接报错，从而大大降低对大规模日志数据的统计效率。

技术实现思路

[0004]鉴于以上内容，有必要提出一种基于人工智能的日志数据统计方法及相关设备，以解决如何提高大规模日志数据的统计效率这一技术问题，其中，相关设备包括基于人工智能的日志数据统计装置、电子设备及存储介质。
[0005]本申请提供一种基于人工智能的日志数据统计方法，所述方法包括：
[0006]依据搜索系统接收日志本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的日志数据统计方法，其特征在于，所述方法包括：依据搜索系统接收日志数据统计请求，并对所述统计请求进行验证；若验证通过，则所述搜索系统依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集；依据预设阈值划分所述第一目标数据集以获取第二目标数据集；依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集；依据所述目标索引数据集进行数据统计以获取目标日志数据。2.如权利要求1所述的基于人工智能的日志数据统计方法，其特征在于，所述依据搜索系统接收日志数据统计请求，并对所述统计请求进行验证包括：依据预设方式对不同数据类型的日志数据设置编码标签；基于所述编码标签判断所述统计请求中的数据类型是否含有对应的编码标签，从而确定所述统计请求是否合格，若合格，则验证通过。3.如权利要求1所述的基于人工智能的日志数据统计方法，其特征在于，所述若验证通过，则所述搜索系统依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集包括：所述搜索系统基于所述日志数据的数据类型、时间范围和取值范围收集对应的日志数据，并将收集到的日志数据进行列式存储以作为所述第一目标数据集。4.如权利要求1所述的基于人工智能的日志数据统计方法，其特征在于，所述依据预设阈值划分所述第一目标数据集以获取第二目标数据集包括：依据预设阈值判断所述第一目标数据集的数据量以获取判断结果；基于所述判断结果对所述第一目标数据集进行分区以获取分区数据集；对所述分区数据集中的各分区数据进行批次划分以获取所述第二目标数据集。5.如权利要求4所述的基于人工智能的日志数据统计方法，其特征在于，所述基于所述判断结果对所述第一目标数据集进行分区以获取分区数据集包括：若所述第一目标数据集的数据量小于预设阈值，则将所述第一目标数据集作为所述分区数据集；若所述第一目标数据集的数据量大于预设阈值，则以预设阈值...

【专利技术属性】
技术研发人员：冯洋，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：