一种日志的归类方法及系统技术方案

本发明专利技术公开了一种日志的归类方法，包括：获取所述目标日志中包含的目标关键代码；解析所述目标关键代码对应的目标连续片段，所述目标连续片段由预设数量的日志状态序列组成；计算所述目标连续片段中的各个日志状态序列与预设的告警事件代码库中的目标告警事件连续片段中各个目标告警事件状态序列之间的第一距离测度；判断所述第一距离测度是否小于采用预设的计算方法计算得到的距离测度阈值，若是，将所述目标日志归类到目标告警事件对应的分类中。上述的方法，通过计算所述第一距离测度，可以将所述目标日志归类到对应的告警事件，避免了现有的日志归类过程中，归类结果准确性并不是很高，存在误判、漏判的问题。

【技术实现步骤摘要】
一种日志的归类方法及系统
本专利技术涉及归类分析
，尤其涉及一种日志的归类方法及系统。
技术介绍
如今，伴随着网络技术的发展，互联网中每天至少产生几百万条原始日志为了减少日志存储占用空间、提高日志分析效率、提高有用日志的可读性，需要对原始日志进行归类，抛除无分析价值的日志，将有价值日志进行归类分析。只有与告警事件相关的日志，才更有分析和存储价值。因此，将原始日志归类到各类告警事件，保留与各类告警事件相关的日志，抛弃其他无用日志，才能让日志分析人员高效处理这些数据，同时又能大大节省日志存储空间。专利技术人对于海量日志信息的归类方法进行研究发现，现有的日志的归类方法如K-MEANS、K-MEDOIDS以及CHAMELEON等，上述的归类方法的误差高，得到的归类结果准确性并不是很高，存在误判、漏判的情况。
技术实现思路
有鉴于此，本专利技术提供了一种日志的归类方法，用以解决现有技术中归类结果准确性并不是很高，存在误判、漏判的情况的问题。具体方案如下：一种日志的归类方法，包括：获取所述目标日志中包含的目标关键代码；解析所述目标关键代码对应的目标连续片段，所述目标连续片段由预设数量的日志状态序列组成；计算所述目标连续片段中的各个日志状态序列与预设的告警事件代码库中的目标告警事件连续片段中各个目标告警事件状态序列之间的第一距离测度；判断所述第一距离测度是否小于采用预设的计算方法计算得到的距离测度阈值，若是，将所述目标日志归类到目标告警事件对应的分类中。上述的方法，可选的，还包括：若否，分别计算所述目标连续片段中的各个状态序列与所述预设的告警事件代码库其余的各个告警事件连续片段中的告警事件状态序列之间对应的第二距离测度；判断是否存在一个第二距离测度小于与其对应的预设的距离测度阈值；若是，将所述目标日志存储到与所述第二距离测度对应的告警事件的分类中。上述的方法，可选的，还包括：若否，判定所述目标日志为无用日志，对所述无用日志进行舍弃处理。上述的方法，可选的，计算所述目标连续片段中的各个日志状态序列分别与预设的告警事件代码库中的目标告警事件连续片段中各个目标告警事件状态序列之间的第一距离测度包括：确定计算所述第一距离测度的第一表达式；解析所述第一表达式中与所述第一距离测度关联的第一权重；采用预设的第一优化函数对所述第一权重进行优化，得到目标权重；将所述目标权重传递给所述第一表达式，计算得到所述第一距离测度。上述的方法，可选的，采用预设的计算方法计算得到的距离测度阈值，包括：任意选取与所述目标告警事件类型相同的第一日志样本和与所述目标告警事件类型不同的第二日志样本；解析所述第一日志样本对应的第一连续片段和所述第二日志样本对应的第二连续片段；将所述目标权重，所述第一连续片段，所述第二连续片段和所述目标告警事件连续片段传递到预设的第二优化函数中进行计算，令所述第二优化函数取最小值，所述最小值为距离测度阈值。一种日志的归类系统，包括：获取模块，用于获取所述目标日志中包含的目标关键代码；解析模块，用于解析所述目标关键代码对应的目标连续片段，所述目标连续片段由预设数量的日志状态序列组成；第一计算模块，用于计算所述目标连续片段中的各个日志状态序列与预设的告警事件代码库中的目标告警事件连续片段中各个目标告警事件状态序列之间的第一距离测度；第一判断模块，用于判断所述第一距离测度是否小于采用预设的计算方法计算得到的距离测度阈值，若是，将所述目标日志归类到目标告警事件对应的分类中。上述的系统，可选的，还包括：第二计算模块，用于若否，分别计算所述目标连续片段中的各个状态序列与所述预设的告警事件代码库其余的各个告警事件连续片段中的告警事件状态序列之间对应的第二距离测度；第二判断模块，用于判断是否存在一个第二距离测度小于与其对应的预设的距离测度阈值；归类模块，用于若是，将所述目标日志存储到与所述第二距离测度对应的告警事件的分类中。上述的系统，可选的，还包括：舍弃模块，用于若否，判定所述目标日志为无用日志，对所述无用日志进行舍弃处理。上述的系统，可选的，所述第一计算模块包括：第一确定单元，用于确定计算所述第一距离测度的第一表达式；解析单元，用于解析所述第一表达式中与所述第一距离测度关联的第一权重；优化单元，用于采用预设的第一优化函数对所述第一权重进行优化，得到目标权重；计算单元，用于将所述目标权重传递给所述第一表达式，计算得到所述第一距离测度。上述的系统，可选的，所述第一判断模块包括：选取单元，用于任意选取与所述目标告警事件类型相同的第一日志样本和与所述目标告警事件类型不同的第二日志样本；解析单元，用于解析所述第一日志样本对应的第一连续片段和所述第二日志样本对应的第二连续片段；第二确定单元，用于将所述目标权重，所述第一连续片段，所述第二连续片段和所述目标告警事件连续片段传递到预设的第二优化函数中进行计算，令所述第二优化函数取最小值，所述最小值为距离测度阈值。与现有技术相比，本专利技术包括以下优点：本专利技术公开了一种日志的归类方法，包括：获取所述目标日志中包含的目标关键代码；解析所述目标关键代码对应的目标连续片段，所述目标连续片段由预设数量的日志状态序列组成；计算所述目标连续片段中的各个日志状态序列与预设的告警事件代码库中的目标告警事件连续片段中各个目标告警事件状态序列之间的第一距离测度；判断所述第一距离测度是否小于采用预设的计算方法计算得到的距离测度阈值，若是，将所述目标日志归类到目标告警事件对应的分类中。上述的方法，通过计算所述第一距离测度，可以将所述目标日志归类到对应的告警事件，避免了现有的日志归类过程中，归类结果准确性并不是很高，存在误判、漏判的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例公开的一种日志的归类方法流程图；图2为本专利技术实施例公开的一种日志的归类方法又一方法流程图；图3为本专利技术实施例公开的一种日志的归类方法又一方法流程图；图4为本专利技术实施例公开的一种日志的归类系统结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本专利技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本专利技术的精神或范围的情况下，在其它实施例中实现。因此，本专利技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。本专利技术提供了一种日志的归类方法，所述归类方法应用于对海量的原始日志的分类处理过程中，依据上述的归类方法实现对海量日志的告警日志的归类并将海量的原始日志中的无用日志进行删除，大大节省了日志的存储空间。其中，原始日志指：网络设备、系统及服务程序等本文档来自技高网...

【技术保护点】
1.一种日志的归类方法，其特征在于，包括：获取所述目标日志中包含的目标关键代码；解析所述目标关键代码对应的目标连续片段，所述目标连续片段由预设数量的日志状态序列组成；计算所述目标连续片段中的各个日志状态序列与预设的告警事件代码库中的目标告警事件连续片段中各个目标告警事件状态序列之间的第一距离测度；判断所述第一距离测度是否小于采用预设的计算方法计算得到的距离测度阈值，若是，将所述目标日志归类到目标告警事件对应的分类中。

【技术特征摘要】
1.一种日志的归类方法，其特征在于，包括：获取所述目标日志中包含的目标关键代码；解析所述目标关键代码对应的目标连续片段，所述目标连续片段由预设数量的日志状态序列组成；计算所述目标连续片段中的各个日志状态序列与预设的告警事件代码库中的目标告警事件连续片段中各个目标告警事件状态序列之间的第一距离测度；判断所述第一距离测度是否小于采用预设的计算方法计算得到的距离测度阈值，若是，将所述目标日志归类到目标告警事件对应的分类中。2.根据权利要求1所述的方法，其特征在于，还包括：若否，分别计算所述目标连续片段中的各个状态序列与所述预设的告警事件代码库其余的各个告警事件连续片段中的告警事件状态序列之间对应的第二距离测度；判断是否存在一个第二距离测度小于与其对应的预设的距离测度阈值；若是，将所述目标日志存储到与所述第二距离测度对应的告警事件的分类中。3.根据权利要求2所述的方法，其特征在于，还包括：若否，判定所述目标日志为无用日志，对所述无用日志进行舍弃处理。4.根据权利要求1所述的方法，其特征在于，计算所述目标连续片段中的各个日志状态序列分别与预设的告警事件代码库中的目标告警事件连续片段中各个目标告警事件状态序列之间的第一距离测度包括：确定计算所述第一距离测度的第一表达式；解析所述第一表达式中与所述第一距离测度关联的第一权重；采用预设的第一优化函数对所述第一权重进行优化，得到目标权重；将所述目标权重传递给所述第一表达式，计算得到所述第一距离测度。5.根据权利要求4所述的方法，其特征在于，采用预设的计算方法计算得到的距离测度阈值，包括：任意选取与所述目标告警事件类型相同的第一日志样本和与所述目标告警事件类型不同的第二日志样本；解析所述第一日志样本对应的第一连续片段和所述第二日志样本对应的第二连续片段；将所述目标权重，所述第一连续片段，所述第二连续片段和所述目标告警事件连续片段传递到预设的第二优化函数中进行计算，令所述第二优化函数取最小值，所述最小值为距离测度阈值。6.一种日志的归类系统，其特征在于，包括：获取...

【专利技术属性】
技术研发人员：翟建军，钟金鑫，陈青民，齐志彬，刘震芸，杜婷婷，
申请(专利权)人：北京安信天行科技有限公司，
类型：发明
国别省市：北京,11