一种提取日志中关键数据的方法、装置、设备和存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，特别地，涉及一种提取日志中关键数据的方法、装置、设备和存储介质。其中方法包括：按照类别对历史日志中的关键数据进行标注，得到标注后的日志语料；将所述标注后的日志语料传入神经网络模型进行训练，得到标注模型；将实时日志传入所述标注模型中进行关键数据的标注，得到按类别标注后的实时日志，本文可以从格式不同的日志中提取涉及故障情况的各类关键数据，进而根据提取得到的关键数据进行故障告警。得到的关键数据进行故障告警。得到的关键数据进行故障告警。

【技术实现步骤摘要】
一种提取日志中关键数据的方法、装置、设备和存储介质


[0001]本专利技术涉及人工智能领域，特别地，涉及一种提取日志中关键数据的方法、装置、设备和存储介质。

技术介绍

[0002]近年来，计算机技术飞速发展，各类应用也随之发挥着日益重要的作用，由于应用自身的要求限制，各类应用大多需要7
×
24小时不间断的运行，应用在运行过程中不免会发生故障，而及时获取应用运行时的相关日志能够帮助运维人员及时发现故障，解决问题。
[0003]由于不同应用的日志格式不同，不同应用的开发商为了灵活记录系统事件，常常会使用自己设定的日志结构来进行记录；而且对于每条日志来说，其中可能涉及故障情况的关键数据较多，关键数据的类别也各不相同，如何从格式不同的日志中提取涉及故障情况的各类关键数据，进而根据提取得到的关键数据进行故障告警，成为亟需解决的问题。

技术实现思路

[0004]本文实施例的目的在于提供一种提取日志中关键数据的方法、装置、设备和存储介质，以从格式不同的日志中提取涉及故障情况的各类关键数据，进而根据提取得到的关键数据进行故障告警。
[0005]为达到上述目的，一方面，本文实施例提供了一种提取日志中关键数据的方法，包括：
[0006]按照类别对历史日志中的关键数据进行标注，得到标注后的日志语料；
[0007]将所述标注后的日志语料传入神经网络模型进行训练，得到标注模型；
[0008]将实时日志传入所述标注模型中进行关键数据的标注，得到按类别标注后的实时日志。r/>[0009]优选的，所述将所述标注后的日志语料传入神经网络模型进行训练，得到标注模型之后，还包括：
[0010]将验证日志传入所述标注模型进行关键数据的标注，得到按类别标注后的验证日志；
[0011]对所述按类别标注后的验证日志进行评价，得到评价结果；
[0012]判断所述评价结果是否达到预设标准；
[0013]如果所述评价结果未达到预设标准，则对所述标注模型进行优化。
[0014]优选的，所述对所述按类别标注后的验证日志进行评价，得到评价结果，包括：
[0015]确定所述按类别标注后的验证日志中每一字段的标注情况和标注类型，其中标注情况包括已标注和未标注，标注类型用于确定所述字段对应的关键数据类别；
[0016]确定与所述按类别标注后的验证日志对应的正确标注日志中每一字段的标注情况和标注类型；
[0017]将所述按类别标注后的验证日志中各字段与所述正确标注日志中各字段进行比
较，确定准确率和召回率；
[0018]根据所述准确率和所述召回率，确定评价结果。
[0019]优选的，所述将所述按类别标注后的验证日志中各字段与所述正确标注日志中各字段进行比较，确定准确率和召回率，包括：
[0020]将在所述按类别标注后的验证日志和在所述正确标注日志中标注情况均为已标注，且标注类型相同的字段的数目确定为第一数值；
[0021]将在所述按类别标注后的验证日志中标注情况为未标注，且在所述正确标注日志中标注情况为已标注的字段的数目确定为第二数值；
[0022]将第一数目以及第二数目之和确定为第三数值；
[0023]其中所述第一数目为在所述按类别标注后的验证日志和在所述正确标注日志中标注情况均为已标注，且标注类型不同的字段的数目；
[0024]所述第二数目为在所述按类别标注后的验证日志中标注情况为已标注，且在所述正确标注日志中标注情况为未标注的字段的数目；
[0025]根据所述第一数值、第二数值以及第三数值，确定所述准确率和所述召回率。
[0026]优选的，所述根据所述第一数值、第二数值以及第三数值，确定所述准确率和所述召回率，包括：
[0027]所述准确率通过如下公式计算：
[0028][0029]其中，Z为准确率，A为第一数值，B为第三数值；
[0030]所述召回率通过如下公式计算：
[0031][0032]其中，H为召回率，C为第二数值。
[0033]优选的，所述根据所述准确率和所述召回率，确定评价结果，包括：
[0034]所述评价结果通过如下公式计算：
[0035][0036]其中，F为评价结果，H为召回率，Z为准确率。
[0037]优选的，所述将实时日志传入所述标注模型中进行关键数据的标注，得到按类别标注后的实时日志之后，还包括：
[0038]根据所述按类别标注后的实时日志以及关键数据与故障名称的对应表，确定故障结果；
[0039]对设定时间内的所有所述故障结果进行聚合，确定设定时间内的故障信息。
[0040]另一方面，本文实施例提供了一种提取日志中关键数据的装置，所述装置包括：
[0041]标注模块：按照类别对历史日志中的关键数据进行标注，得到标注后的日志语料；
[0042]训练模块：将所述标注后的日志语料传入神经网络模型进行训练，得到标注模型；
[0043]识别模块：将实时日志传入所述标注模型中进行关键数据的标注，得到按类别标注后的实时日志。
[0044]又一方面，本文实施例还提供了一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时，执行上述任意一项所述方法的指令。
[0045]又一方面，本文实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机设备的处理器运行时，执行上述任意一项所述方法的指令。
[0046]由以上本文实施例提供的技术方案可见，本文实施例通过将标注后的日志语料传入神经网络模型中训练，得到标注模型。该标注模型能够对实时日志进行标注，即，将实时日志传入标注模型中，即可得到按类别标注后的实时日志，该处的类别与前述类别对应。按类别标注后的实时日志，能够将实时日志中的关键数据按类别区分开，进而从格式不同的日志中提取涉及故障情况的各类关键数据，根据提取得到的关键数据进行故障告警。
[0047]为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
[0048]为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049]图1示出了本文实施例提供的一种提取日志中关键数据的方法的流程示意图；
[0050]图2示出了本文实施例提供的一种提取日志中关键数据的方法的另一流程示意图；
[0051]图3示出了本文实施例提供的按类别标注后的验证日志进行评价，得到评价结果的流程示意图；
[0052]图4示出了本文实施例提供的确定准确率和召回率的流程示意图；
[0053]图5示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提取日志中关键数据的方法，其特征在于，包括：按照类别对历史日志中的关键数据进行标注，得到标注后的日志语料；将所述标注后的日志语料传入神经网络模型进行训练，得到标注模型；将实时日志传入所述标注模型中进行关键数据的标注，得到按类别标注后的实时日志。2.根据权利要求1所述的提取日志中关键数据的方法，其特征在于，所述将所述标注后的日志语料传入神经网络模型进行训练，得到标注模型之后，还包括：将验证日志传入所述标注模型进行关键数据的标注，得到按类别标注后的验证日志；对所述按类别标注后的验证日志进行评价，得到评价结果；判断所述评价结果是否达到预设标准；如果所述评价结果未达到预设标准，则对所述标注模型进行优化。3.根据权利要求2所述的提取日志中关键数据的方法，其特征在于，所述对所述按类别标注后的验证日志进行评价，得到评价结果，包括：确定所述按类别标注后的验证日志中每一字段的标注情况和标注类型，其中标注情况包括已标注和未标注，标注类型用于确定所述字段对应的关键数据类别；确定与所述按类别标注后的验证日志对应的正确标注日志中每一字段的标注情况和标注类型；将所述按类别标注后的验证日志中各字段与所述正确标注日志中各字段进行比较，确定准确率和召回率；根据所述准确率和所述召回率，确定评价结果。4.根据权利要求3所述的提取日志中关键数据的方法，其特征在于，所述将所述按类别标注后的验证日志中各字段与所述正确标注日志中各字段进行比较，确定准确率和召回率，包括：将在所述按类别标注后的验证日志和在所述正确标注日志中标注情况均为已标注，且标注类型相同的字段的数目确定为第一数值；将在所述按类别标注后的验证日志中标注情况为未标注，且在所述正确标注日志中标注情况为已标注的字段的数目确定为第二数值；将第一数目以及第二数目之和确定为第三数值；其中所述第一数目为在所述按类别标注后的验证日志和在所述正确标注日志中标注情况均为已标注，且标注类型不同的字段的数...

【专利技术属性】
技术研发人员：吴都，吴声，茅逸斐，熊慧君，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：