基于孪生神经网络和固定解析树的网络日志解析方法及装置制造方法及图纸

本发明专利技术公开了一种基于孪生神经网络和固定解析树的网络日志解析方法及装置，方法包括：首先将通过基于领域知识的简单正则表达式对其进行预处理；按照编码在树内部节点中通过孪生神经网络确定合适的日志事件列表(即树的叶子节点)；如果找到合适的日志事件，则该日志消息将与存储在该日志事件列表中的日志事件相匹配；否则，将根据该日志消息创建一个新的日志事件并添加到日志事件列表中；当所有日志消息匹配完成，最后根据日志事件情况合并相似日志事件；本发明专利技术中的解析方法能够准确提取网络日志中的日志事件，在精确性、实时性要求较高的日志解析任务中具有良好的实用性。高的日志解析任务中具有良好的实用性。高的日志解析任务中具有良好的实用性。

【技术实现步骤摘要】
基于孪生神经网络和固定解析树的网络日志解析方法及装置


[0001]本专利技术涉及基于孪生神经网络和固定解析树的网络日志解析方法及装置，属于自然语言处理与人工智能


技术介绍

[0002]现代软硬件系统通常会在日志中记录有价值的运行时信息(例如，重要事件和相关变量)，同时也包含了诊断网络或系统异常的一些最重要的信息。当网络或系统发生异常，日志消息通常用于更复杂的向下钻取的过程，在这些过程中，运维人员会检查问题的根本原因，并决定他们应该做些什么来从故障中恢复。因此，日志对于从业者在理解软件系统的运行时行为和诊断系统故障方面起着重要的作用。然而，由于日志的大小通常非常大(例如，数十或数百gb)，之前的研究已经提出了自动分析日志的方法，这些自动化的方法帮助从业人员进行各种软件维护和操作活动，如调试，异常检测，故障检测，故障预测，系统理解，性能诊断和改进。
[0003]日志是通过在源代码中的日志记录语句生成的(例如，log.info()语句)。日志记录语句由日志级别(例如，info、error等)、静态文本(例如“Received block”和“of size”等)和动态变量(如“$blockId”和IP等)组成。在系统运行期间，日志语句将生成原始日志消息，这是一行非结构化文本，其中包含静态文本和日志语句中指定的动态变量(例如“blk_7526945448667194862”)的值。日志消息还包含诸如事件发生时间(例如，“081109 210637”)等信息。换句话说，日志记录语句为在运行时生成的日志消息定义了日志事件(有些研究称为日志模板)。日志解析的目标是将静态日志事件、动态变量和头信息(即时间戳、日志级别和日志器名称)从原始日志消息提取为结构化格式，尽管存在先前的日志解析器能够一定程度解析日志，但随着日志大小的快速增长，仍然有许多挑战：
[0004]1)严重依赖于专门设计的正则表达式。在实践中，实践者通常编写特别的日志解析脚本，这些脚本严重依赖于专门设计的正则表达式作为现代软件系统通常包含大量不断发展的日志事件，从业者需要投入大量的精力来开发和维护这样的正则表达式。
[0005]2)忽视日志消息的语义信息。以前的一些解析日志的方法采用某些特殊的设计规则，这些规则依赖于领域知识，设计复杂的算法和数据结构来解析日志，但往往没有考虑日志文本的语义信息，使得日志解析完全依赖于算法模型、日志种类和结构，使得日志解析方法鲁棒性不高。
[0006]3)日志数据非常复杂。日志消息由供应商在源代码中的日志记录语句生成的非结构化文本消息组成。尤其在复杂分布式系统中由多供应商元素组成，并且多供应商通过在源代码中的日志记录语句无序输出，因此日志的格式高度多样化，这大大提高了日志解析的难度。

技术实现思路

[0007]本专利技术的目的在于克服现有技术中的不足，提供基于孪生神经网络和固定解析树
的网络日志解析方法，在固定深度解析树基础上融合孪生神经网络，利用孪生神经网络来学习日志消息间的相关性，孪生神经网络能够学习日志语义，无需任何领域知识定义不同的规则，具有良好的通用性，对准确率、实时性要求较高的日志解析系统中具有良好的实用性。为达到上述目的，本专利技术是采用下述技术方案实现的：
[0008]第一方面，本专利技术提供了一种基于孪生神经网络和固定解析树的网络日志解析方法，包括：
[0009]获取原始日志消息；
[0010]对原始日志消息通过简单正则表达式进行预处理，得到预处理后的日志消息及对应的日志消息长度：
[0011]根据日志消息长度来将原始日志消息划分日志组，其中每个日志组存储的日志消息长度相同；
[0012]对于当前日志消息，基于划分的日志组选择到第二层节点的路径，搜寻中间节点最终搜索到最相似叶子节点；
[0013]基于搜索到的最相似叶子节点，采用训练好的孪生神经网络模型确定当前日志消息与这个叶子节点最相似日志消息的相似度，得到日志消息相似度结果；
[0014]根据日志消息相似度结果，通过固定深度解析树来更新日志消息模板情况；
[0015]当所有日志消息解析完成，得到解析树。
[0016]在一些实施例中，根据日志消息长度来将原始日志消息划分日志组，包括：基于具有相同日志事件的日志消息具有相同的日志消息长度的假设，根据预处理过后日志消息的长度不同将原始日志分为不同的日志组，每个日志组存储的日志消息长度相同，其中日志消息长度定义为日志消息中令牌的数量。
[0017]在一些实施例中，基于划分的日志组选择到第二层节点的路径，搜寻中间节点最终搜索到最相似叶子节点，包括：
[0018]从解析树的根开始向下搜索，当达到解析树中表示日志消息长度的层次，即第二层，继续向下搜索，通过日志消息开始位置的标记选择下一个内部节点；根据预设的解析树的深度参数，搜寻到固定深度的叶子节点，其中叶子节点包含日志事件组列表。
[0019]在一些实施例中，采用训练好的孪生神经网络模型确定当前日志消息与这个叶子节点最相似日志消息的相似度，包括：
[0020]所述孪生神经网络包括两个孪生神经网络LSTMa和LSTMb，每个网络处理给定的一对句子；
[0021]一个LSTM从可变长度的二维向量序列空间学习映射到每个日志消息表示为一个令牌序列x1，...，x
t
，被传递给LSTM，对于每个t∈{1，...，T}，一个LSTM更新过程通过权重矩阵W
i
，W
f
，W
c
，W
o
，U
i
，U
f
，U
c
，U
o
和偏移量b
i
，b
f
，b
c
，b
o
来参数化：
[0022]i
t
＝sigmoid(W
i
x
t
+U
i
h
t
‑1+b
i
)
[0023]f
t
＝sigmoid(W
f
x
t
+U
f
h
t
‑1+b
f
)
[0024]o
t
＝sigmoid(W
o
x
t
+U
o
h
t
‑1+b
o
)
[0025][0026][0027]h
t
＝o
t
⊙
tanh(c
t
)
[0028]其中W
i
，U
i
对应输入门的两个权重矩阵，W
f
，U
f
对应遗忘门的两个权重矩阵，W
c
，U
c
对应候选细胞的两个权重矩阵，W
o本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于孪生神经网络和固定解析树的网络日志解析方法，其特征在于，包括：获取原始日志消息；对原始日志消息通过简单正则表达式进行预处理，得到预处理后的日志消息及对应的日志消息长度：根据日志消息长度来将原始日志消息划分日志组，其中每个日志组存储的日志消息长度相同；对于当前日志消息，基于划分的日志组选择到第二层节点的路径，搜寻中间节点最终搜索到最相似叶子节点；基于搜索到的最相似叶子节点，采用训练好的孪生神经网络模型确定当前日志消息与这个叶子节点最相似日志消息的相似度，得到日志消息相似度结果；根据日志消息相似度结果，通过固定深度解析树来更新日志消息模板情况；当所有日志消息解析完成，得到解析树。2.根据权利要求1所述的基于孪生神经网络和固定解析树的网络日志解析方法，其特征在于，根据日志消息长度来将原始日志消息划分日志组，包括：基于具有相同日志事件的日志消息具有相同的日志消息长度的假设，根据预处理过后日志消息的长度不同将原始日志分为不同的日志组，每个日志组存储的日志消息长度相同，其中日志消息长度定义为日志消息中令牌的数量。3.根据权利要求1所述的基于孪生神经网络和固定解析树的网络日志解析方法，其特征在于，基于划分的日志组选择到第二层节点的路径，搜寻中间节点最终搜索到最相似叶子节点，包括：从解析树的根开始向下搜索，当达到解析树中表示日志消息长度的层次，即第二层，继续向下搜索，通过日志消息开始位置的标记选择下一个内部节点；根据预设的解析树的深度参数，搜寻到固定深度的叶子节点，其中叶子节点包含日志事件组列表。4.根据权利要求1所述的基于孪生神经网络和固定解析树的网络日志解析方法，其特征在于，采用训练好的孪生神经网络模型确定当前日志消息与这个叶子节点最相似日志消息的相似度，包括：所述孪生神经网络包括两个孪生神经网络LSTMa和LSTMb，每个网络处理给定的一对句子；一个LSTM从可变长度的二维向量序列空间学习映射到每个日志消息表示为一个令牌序列x1，...，x
t
，被传递给LSTM，对于每个t∈{1，...，T}，一个LSTM更新过程通过权重矩阵W
i
，W
f
，W
c
，W
o
，U
i
，U
f
，U
c
，U
o
和偏移量b
i
，b
f
，b
c
，b
o
来参数化：i
t
＝sigmoid(W
i
x
t
+U
i
h
t
‑1+b
i
)f
t
＝sigmoid(W
f
x
t
+U
f
h
t
‑1+b
f
)o
t
＝sigmoid(W
o
x
t
+U
o
h
t
‑1+b
o
))h
t
＝o
...

【专利技术属性】
技术研发人员：徐小龙，孙雷，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：