用于在日志分析系统中实现日志解析器的方法和系统技术方案

本发明专利技术涉及用于在日志分析系统中实现日志解析器的方法和系统。公开了用于实现日志分析方法和系统的系统、方法和计算机程序产品，该日志分析方法和系统可以以高效的方式来配置、收集和分析日志记录。已经描述了通过分析日志的行内容来自动生成日志解析器的改进方法。此外，已经描述了从日志内容中提取键

【技术实现步骤摘要】
用于在日志分析系统中实现日志解析器的方法和系统
[0001]本申请是申请号为201680029404.0、申请日为2016年4月1日、专利技术名称为“用于在日志分析系统中实现日志解析器的方法和系统”的专利技术专利申请的分案申请。

技术介绍

[0002]许多类型的计算系统和应用生成与该计算系统或应用的操作相关或由该计算系统或应用的操作引起的大量数据。这些大量数据被存储到诸如日志文件/记录之类的收集的位置中，如果需要分析系统或应用的行为或操作，则这些收集的位置可以在稍后的时间段被审查。
[0003]服务器管理员和应用管理员可以通过学习和分析系统日志记录的内容来获益。但是，收集和分析这些记录会是非常有挑战性的任务。这些挑战有很多原因。
[0004]一个显著的问题涉及以下事实：许多现代组织拥有非常大量的计算系统，每个计算系统具有在这些计算系统上运行的大量应用。考虑到在这些计算设备上运行的大量相异的(disparate)系统和应用，在大型系统中配置、收集和分析日志记录会非常困难。此外，这些应用中的一些应用可以实际上在多个计算系统上运行以及跨多个计算系统运行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：响应于接收到包括多个日志条目的日志数据：将所述日志数据的第一副本存储在包括多个分区的加索引的数据存储库中；基于分别与所述多个分区相关联的多个时间范围，对所述加索引的数据存储库中的日志数据进行索引；基于与所述日志数据相关联的参数，对所述多个日志条目进行分组以生成所述日志数据的第二副本，其中所述参数包括以下中的一个或多个：第一组标识符，标识与所述多个日志条目相关联的各个租户；第二组标识符，标识计算环境内从中获得所述多个日志条目的相应目标；和第三组标识符，标识其中相应目标存储所述多个日志条目的相应源；将基于所述参数分组的所述日志数据的第二副本存储在历史数据存储库中；其中，所述历史数据存储库还包括与比所述加索引的数据存储库中的所述多个时间范围陈旧的时间相关联的历史日志数据；其中，所述加索引的数据存储库和历史数据存储库是分开的；至少通过以下操作执行第一日志查询：确定与第一日志查询相关联的第一时间范围；响应于确定第一时间范围在所述多个时间范围中的一个或多个时间范围内：选择所述加索引的数据存储库而非所述历史数据存储库来执行第一日志查询；将第一日志查询应用于所述多个分区中与所述一个或多个时间范围对应的一个或多个分区；至少通过以下操作执行第二日志查询：确定与第二日志查询相关联的第二时间范围；响应于确定第二时间范围的至少第一部分不在所述多个时间范围内：选择所述历史数据存储库而非所述加索引的数据存储库来执行第二日志查询；将第二日志查询应用于所述历史数据存储库；其中，所述方法由包括硬件处理器的至少一个设备执行。2.如权利要求1所述的方法，其中所述多个分区中的特定分区包括用于保存迟到的日志数据的缓冲存储部分。3.如权利要求1所述的方法，其中将第一日志查询应用于与所述一个或多个时间范围对应的一个或多个分区包括：将所述查询分别应用于所述一个或多个分区中的每个分区；以及分别针对每个分区返回查询结果。4.如权利要求1所述的方法，还包括：在执行第一日志查询之后：确定所述一个或多个分区不再满足最近性标准；响应于确定所述一个或多个分区不再满足最近性标准：从所述多个分区中移除所述一个或多个分区，其中，从所述多个分区中移除所述一个或多个分区导致更新的多个时间范围，所述更新的多个时间范围不包括与第一日志查询相关联的第一时间范围。5.如权利要求4所述的方法，还包括：
在从所述多个分区中移除所述一个或多个分区之后，至少通过以下操作执行第三日志查询：确定与第三日志查询相关联的第三时间范围，其中第三时间范围在第一时间范围内；响应于确定第三时间范围不在所述更新的多个时间范围内；将第三日志查询应用于所述历史数据存储库。6.如权利要求1所述的方法，其中所述日志数据是以原始格式接收的，并且其中将所述日志数据存储在历史数据存储库中包括：解析原始格式的日志数据以获得解析格式的日志数据，其中所述解析格式包括一个或多个可搜索参数；以原始格式和解析格式这两者将日志数据存储在历史数据存储中。7.如权利要求1所述的方法，还包括：接收与第一日志查询相关联的不同于第一时间范围的第三时间范围；将第一时间范围和第三时间范围之间的增量识别为第四时间范围；以及将第一日志查询应用于所述多个分区中与第四时间范围对应的一个或多个分区。8.一种方法，包括：接收第一日志数据；将第一日志数据存储在包括多个集合的加索引的数据存储库中，其中将第一日志数据存储在加索引的数据存储库中包括：至少响应于(a)确定与第一日志数据相关联的第一时间在与所述多个集合中的第一集合相关联的第一时间范围内，以及(b)确定第一集合当前是打开的：将第一日志数据存储到所述第一集合中；确定放入第一集合中的日志数据的第一尺寸的第一值是否低于第一尺寸阈值；至少响应于确定放入第一集合中的日志数据的第一尺寸的第一值不低于第一尺寸阈值：...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：甲骨文国际公司，
类型：发明
国别省市：