用于在日志分析系统中实现日志解析器的方法和系统技术方案

本发明专利技术涉及用于在日志分析系统中实现日志解析器的方法和系统。公开了用于实现日志分析方法和系统的系统、方法和计算机程序产品，该日志分析方法和系统可以以高效的方式来配置、收集和分析日志记录。已经描述了通过分析日志的行内容来自动生成日志解析器的改进方法。此外，已经描述了从日志内容中提取键

【技术实现步骤摘要】
用于在日志分析系统中实现日志解析器的方法和系统
[0001]本申请是申请号为201680029404.0、申请日为2016年4月1日、专利技术名称为“用于在日志分析系统中实现日志解析器的方法和系统”的专利技术专利申请的分案申请。

技术介绍

[0002]许多类型的计算系统和应用生成与该计算系统或应用的操作相关或由该计算系统或应用的操作引起的大量数据。这些大量数据被存储到诸如日志文件/记录之类的收集的位置中，如果需要分析系统或应用的行为或操作，则这些收集的位置可以在稍后的时间段被审查。
[0003]服务器管理员和应用管理员可以通过学习和分析系统日志记录的内容来获益。但是，收集和分析这些记录会是非常有挑战性的任务。这些挑战有很多原因。
[0004]一个显著的问题涉及以下事实：许多现代组织拥有非常大量的计算系统，每个计算系统具有在这些计算系统上运行的大量应用。考虑到在这些计算设备上运行的大量相异的(disparate)系统和应用，在大型系统中配置、收集和分析日志记录会非常困难。此外，这些应用中的一些应用可以实际上在多个计算系统上运行以及跨多个计算系统运行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：存储分别与多个日志类型相关联的多个日志解析器；从日志获得日志数据；在所述日志数据内识别：(a)多个日志类型中的至少一个日志类型所共有的第一组字段名称，以及(b)包括由所述第一组字段名称表示的字段的字段值的第一组可变部分；通过从所述日志数据中移除所述第一组可变部分，生成经过滤的日志数据，其中所述经过滤的日志数据包括所述第一组字段名称并且不包括由所述第一组字段名称表示的字段的字段值；生成向量，所述向量(a)基于所述经过滤的日志数据中的所述第一组字段名称，并且(b)不基于包括字段值的被移除的第一组可变部分；至少通过将所述向量应用于一个或多个分类器，获得将所述日志分类为特定类型的最终分类结果；以及基于所述最终分类结果，使用与所述特定日志类型相关联的日志解析器来解析所述日志；其中，所述方法由包括硬件处理器的至少一个设备执行。2.如权利要求1所述的方法，还包括：将经过滤的日志数据应用于分布分类器以获得第一分类结果，其中所述分布分类器使用分布模型对经过滤的日志数据进行分类，该分布模型包括分别与所述多个日志类型相关联的第一多个质心，其中将经过滤的日志数据应用于分布分类器包括(a)基于经过滤的日志数据内的一个或多个字符的一个或多个频率生成分布向量，以及(b)基于所述分布向量和所述第一多个质心中的第一质心之间的第一距离生成第一分类结果；将经过滤的日志数据应用于令牌分类器以获得第二分类结果，其中所述令牌分类器使用令牌模型对经过滤的日志数据进行分类，该令牌模型包括分别与所述多个日志类型相关联的第二多个质心；为第一分类结果赋予第一权重，以获得与分布分类器对应的第一加权分类结果；为第二分类结果赋予第二权重，以获得与令牌分类器对应的第二加权分类结果；以及至少组合(a)与分布分类器对应的第一加权分类结果和(b)与令牌分类器对应的第二加权分类结果，以获得最终分类结果。3.如权利要求2所述的方法，还包括：将经过滤的日志数据应用于令牌分类器包括(a)基于经过滤的日志数据内的一个或多个令牌生成令牌向量，以及(b)基于所述令牌向量和所述第二多个质心中的第二质心之间的第二距离生成第二分类结果。4.如权利要求2所述的方法，还包括：将经过滤的日志数据应用于正则表达式分类器，以获得第三分类结果；以及为第三分类结果赋予第三权重，以获得与正则表达式分类器对应的第三加权分类结果；其中，为了获得最终分类结果，进一步将与正则表达式分类器对应的第三加权分类结果和与分布分类器对应的第一加权分类结果、与令牌分类器对应的第二加权分类结果进行组合。

【专利技术属性】
技术研发人员：G，
申请(专利权)人：甲骨文国际公司，
类型：发明
国别省市：