日志分类方法、装置、电子设备和存储介质制造方法及图纸

本实施例公开了一种日志分类方法、装置、电子设备和计算机存储介质，该方法包括：针对原始日志数据集提取结构化日志模板；构建所述结构化日志模板的词向量；根据所述结构化日志模板的词向量，采用梯度下降的搜索方法对用于日志分类的神经网络的网络结构进行搜索，得出目标网络结构；在所述神经网络的网络结构为所述目标网络结构的情况下，对所述神经网络进行训练，得到训练后的神经网络；基于所述训练后的神经网络进行日志分类。的神经网络进行日志分类。的神经网络进行日志分类。

【技术实现步骤摘要】
日志分类方法、装置、电子设备和存储介质


[0001]本申请属于人工智能(Artificial Intelligence，AI)
，特别涉及一种日志分类方法、装置、电子设备和存储介质。

技术介绍

[0002]随着全球信息化的发展，网络设备的数量日益庞大，互联网技术(Internet Technology，IT)技术在企业的发展中发挥着越来越重要的作用。同时IT系统变得越来越复杂，企业需要不断增加服务器的数量来维持网站和应用的业务性能，这将导致运维人员难以从容地处理服务器出现的各种问题。服务器在运行过程中，会产生大量的日志文件，这些日志文件包含服务器运行过程中一些重要信息。合理的应用服务器日志信息，可以帮助运维人员解决服务器的一些问题。
[0003]在相关技术中，可以利用神经网络对日志进行分类，然而，随着服务器和业务的增加，日志的种类在不断增加，在日志的种类不断增加的场景下，利用神经网络对日志进行分类的准确性较低。

技术实现思路

[0004]本申请实施例提供一种日志分类方法、装置、电子设备和计算机存储介质。
[0005]本申请实施例提供一种日志分类方法，所述方法包括：
[0006]针对原始日志数据集提取结构化日志模板；
[0007]构建所述结构化日志模板的词向量；
[0008]根据所述结构化日志模板的词向量，采用梯度下降(Gradient Decent)的搜索方法对用于日志分类的神经网络的网络结构进行搜索，得出目标网络结构；
[0009]在所述神经网络的网络结构为所述目标网络结构的情况下，对所述神经网络进行训练，得到训练后的神经网络；
[0010]基于所述训练后的神经网络进行日志分类。
[0011]在一些实施例中，所述神经网络包括用于处理时序数据的第一子网络和用于进行文本分类的第二子网络；所述根据所述结构化日志模板的词向量，采用梯度下降的搜索方法对用于日志分类的神经网络的网络结构进行搜索，得出目标网络结构，包括：根据所述结构化日志模板的词向量，采用梯度下降的搜索方法对所述第一子网络的网络结构参数、第二子网络的网络结构参数、以及所述第一子网络和第二子网络之间的连接结构参数进行搜索，得出目标网络结构的参数，所述目标网络结构的参数包括搜索出的第一子网络的网络结构参数、第二子网络的网络结构参数、以及所述第一子网络和第二子网络之间的连接结构参数；根据所述目标网络结构的参数，确定目标网络结构。
[0012]可以看出，本申请实施例通过采用梯度下降的搜索方法，可以对用于处理时序数据的第一子网络的结构、用于进行文本分类的第二子网络的结构、以及第一子网络和第二子网络之间的连接结构，搜索出的参数配置信息，从而，可以更加准确地确定出目标网络结
构，进而，在神经网络的网络结构为目标网络结构的情况下，可以提高利用神经网络进行日志分类的准确性。
[0013]在一些实施例中，所述第一子网络为双向长短时记忆(Bi
‑
directional Long Short
‑
Term Memory，BiLSTM)网络。可以看出，由于BiLSTM网络为用于处理时序数据的网络，而日志数据为带有时序特征的数据，因此，在神经网络包括用于处理时序数据的BiLSTM网络的情况下，利用训练完成的神经网络可以更加准确地进行日志分类。
[0014]在一些实施例中，所述第二子网络为文本卷积神经网络(Text Convolutional Neural Networks，Textcnn)。可以看出，由于Textcnn网络为用于进行文本分类的网络，而日志数据属于文本数据，因此，在神经网络包括用于进行文本分类的Textcnn网络的情况下，利用训练完成的神经网络可以更加准确地进行日志分类。
[0015]在一些实施例中，所述针对原始日志数据集提取结构化日志模板，包括：对所述原始日志数据集中各个日志的固定不变的部分进行提取，得到所述结构化日志模板。
[0016]可以理解地，通过对原始日志数据集中各个日志的固定不变的部分进行提取，可以得到统一的结构化日志模板；由于原始日志中固定不变的部分可以反映原始日志的基本情况，因此，针对统一的结构化日志模板可以较为准确地进行后续的词向量构建。
[0017]在一些实施例中，所述构建所述结构化日志模板的词向量，包括：使用Word2vec模型构建所述结构化日志模板的词向量。由于Word2vec模型不仅可以表示上下文之间的关系，还可以表示更大词袋的向量，因此，使用Word2vec模型，能够在一定程度上更加准确地构建结构化日志模板的词向量。
[0018]在一些实施例中，所述神经网络为深度学习网络。由于深度学习网络具有较强的特征提取能力，因此，利用训练完成的深度学习网络可以更加准确地对日志进行分类。
[0019]本申请实施例还提供了一种日志分类装置，所述装置包括：
[0020]提取模块，用于针对原始日志数据集提取结构化日志模板；
[0021]处理模块，用于构建所述结构化日志模板的词向量；根据所述结构化日志模板的词向量，采用梯度下降的搜索方法对用于日志分类的神经网络的网络结构进行搜索，得出目标网络结构；在所述神经网络的网络结构为所述目标网络结构的情况下，对所述神经网络进行训练，得到训练后的神经网络；
[0022]分类模块，用于基于所述训练后的神经网络进行日志分类。
[0023]本申请实施例还提供了一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序以执行上述任意一种日志分类方法。
[0024]本申请实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种日志分类方法。
[0025]可以看出，本申请实施例中，通过采用梯度下降的搜索方法对用于日志分类的神经网络的网络结构进行搜索，可以高效地完成网络结构的搜索，可以根据原始日志数据集搜索出合适的网络结构，进而，在神经网络的网络结构为目标网络结构的情况下，可以提高利用神经网络进行日志分类的准确性。
附图说明
[0026]图1为本申请实施例的日志分类方法的一个流程图；
[0027]图2为本申请实施例中提取结构化日志模板的示意图；
[0028]图3为本申请实施例的日志分类方法的另一个流程图；
[0029]图4为本申请实施例的日志分类装置的结构示意图；
[0030]图5为本申请实施例的电子设备的结构示意图。
具体实施方式
[0031]在相关技术中，可以采用如下三种方案进行日志分类：基于规则的日志分类方案、通过机器学习进行日志分类的方案和利用深度学习网络进行日志分类的方案。
[0032]在基于规则的日志分类方案中，运维工程师可以根据不同的日志的格式设置不同的规则匹配，来简单实现日志分类；例如，可以对服务器日志的规则进行规则匹配，并根据各种异常事件的相似性，设置不同的规本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志分类方法，其特征在于，所述方法包括：针对原始日志数据集提取结构化日志模板；构建所述结构化日志模板的词向量；根据所述结构化日志模板的词向量，采用梯度下降的搜索方法对用于日志分类的神经网络的网络结构进行搜索，得出目标网络结构；在所述神经网络的网络结构为所述目标网络结构的情况下，对所述神经网络进行训练，得到训练后的神经网络；基于所述训练后的神经网络进行日志分类。2.根据权利要求1所述的方法，其特征在于，所述神经网络包括用于处理时序数据的第一子网络和用于进行文本分类的第二子网络；所述根据所述结构化日志模板的词向量，采用梯度下降的搜索方法对用于日志分类的神经网络的网络结构进行搜索，得出目标网络结构，包括：根据所述结构化日志模板的词向量，采用梯度下降的搜索方法对所述第一子网络的网络结构参数、第二子网络的网络结构参数、以及所述第一子网络和第二子网络之间的连接结构参数进行搜索，得出目标网络结构的参数，所述目标网络结构的参数包括搜索出的第一子网络的网络结构参数、第二子网络的网络结构参数、以及所述第一子网络和第二子网络之间的连接结构参数；根据所述目标网络结构的参数，确定目标网络结构。3.根据权利要求2所述的方法，其特征在于，所述第一子网络为双向长短时记忆BiLSTM网络。4.根据权利要求2所述的方法，其特征在于，所述第二子网络为Textcnn网络...

【专利技术属性】
技术研发人员：李东江，张静，张宪波，杨继成，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：