【技术实现步骤摘要】
本专利技术涉及通信，具体涉及一种日志分析方法、装置、电子设备及计算机可读介质。
技术介绍
1、在通信设备日常运行中其通常会输出大规模日志数据，该些日志数据中记录有通信设备的运行信息。
2、为了保障通信设备的正常运行，通常可以采取人工分析设备日志数据的方式来确定设备状态，例如，由运维人员主动查询日志数据并对其进行分析以确定通信设备的运行状态，该种日志分析方法往往存在不够准确、效率低下的问题。为此，在相关技术中，也存在使用预训练语言模型，例如transformer、bert等模型对通信设备的日志数据进行分析的方法，然而，通信设备的日志数据往往具有很强的领域特性，而绝大部分现有预训练语言模型仅是使用既有的语料训练得到的，基于该种方式训练的预训练语言模型对通信设备的日志数据进行分析，往往存在不够准确的问题。
技术实现思路
1、为此，本专利技术提供一种日志分析方法、装置、电子设备及介质，以解决现有技术中对通信设备的日志数据进行分析时存在的不够准确的问题。
2、为了实现上述目的，本专利技术第一方面提供一种日志分析方法，该日志分析方法包括：
3、对待分析的日志数据进行结构化处理，得到与所述日志数据对应的日志事件；
4、对多个日志事件拼接，得到事件文本序列；
5、将所述事件文本序列输入与目标预测任务对应的目标预测模型中处理，得到所述日志数据在所述目标预测任务上的目标处理结果；
6、其中，所述目标预测模型包括编码模型和解码模型，
7、可选地，所述目标预测任务包括事件预测任务；
8、所述将所述事件文本序列输入与目标预测任务对应的目标预测模型中处理，得到所述日志数据在所述目标预测任务上的目标处理结果，包括：
9、将所述事件文本序列输入所述编码模型中进行事件编码处理及事件预测处理，得到预测事件特征序列；其中，所述预测事件特征序列包括与所述事件文本序列中的日志事件关联的至少一个预测日志事件的特征数据；
10、将所述预测事件特征序列输入所述目标预测模型的解码模型中进行日志事件生成处理，得到所述至少一个预测日志事件；
11、根据所述至少一个预测日志事件，得到所述目标处理结果。
12、可选地，所述编码模型通过以下步骤训练得到：
13、对所述样本日志数据进行结构化及拼接处理，得到样本事件文本序列；
14、根据所述样本事件文本序列及所述日志文本词表，对所述编码模型进行训练，得到所述编码模型。
15、可选地，所述编码模型包括文本编码子模型和事件编码子模型；
16、所述根据所述样本事件文本序列及所述日志文本词表，对所述编码模型进行训练，得到所述编码模型，包括：
17、基于所述日志文本词表对所述样本事件文本序列进行分词处理；
18、对所述样本事件文本序列中任一日志事件的至少一个词语进行遮蔽，得到第一遮蔽文本序列；
19、将所述样本事件文本序列和所述第一遮蔽文本序列分别输入所述文本编码子模型，得到第一文本特征和第一遮蔽文本特征；
20、根据所述第一文本特征和所述第一遮蔽文本特征，获取所述编码模型的第一损失；
21、对所述第一文本特征中与任一日志事件对应的子特征进行遮蔽，得到第二文本特征，以及，对所述第一文本特征中与各个日志事件对应的子特征重排序，得到第三文本特征；
22、将所述第二文本特征及所述第三文本特征分别输入所述事件编码子模型，得到第一事件特征及第二事件特征，其中，所述第一事件特征为所述事件编码子模型对所述第二文本特征中遮蔽的子特征进行预测处理后得到的特征，所述第二事件特征为所述事件编码子模型对所述第三文本特征中的子特征进行重排序后得到的特征；
23、根据所述第一文本特征、所述第一事件特征以及所述第二事件特征，得到第二损失值；
24、根据所述第一损失值和所述第二损失值，调整所述编码模型的参数，得到满足预设收敛条件的所述编码模型。
25、可选地，所述根据所述第一文本特征、所述第一事件特征以及所述第二事件特征，得到第二损失值，包括：
26、获取所述第一文本特征和所述第一事件特征之间的第三损失；以及，获取所述第一文本特征和所述第二事件特征之间的第四损失；
27、根据所述第三损失和所述第四损失，得到所述第二损失。
28、可选地，所述根据所述第一文本特征和所述第一遮蔽文本特征，获取所述编码模型的第一损失，包括：
29、将所述第一文本特征和所述第一遮蔽文本特征分别输入第一感知网络，得到所述第一文本特征和所述第一遮蔽文本特征在所述日志文本词表上的第一样本得分和第一遮蔽得分；
30、根据所述第一样本得分和所述第一遮蔽得分，得到所述第一损失。
31、可选地，所述获取所述第一文本特征和所述第一事件特征之间的第三损失，包括：
32、从所述第一文本特征中，获取目标日志事件对应的标准事件特征，其中，所述目标日志事件为所述第二文本特征中被遮蔽的子特征对应的日志事件；
33、从所述第一事件特征中获取所述目标日志事件对应的预测事件特征；
34、根据所述标准事件特征和所述预测事件特征，得到所述第三损失。
35、可选地，所述获取所述第一文本特征和所述第二事件特征之间的第四损失，包括：
36、将所述第一文本特征和所述第二事件特征分别输入第二感知网络，得到第一置信度序列和第二置信度序列，其中，所述第一置信度序列用于表示所述第一文本特征所对应的日志事件序列的置信度分布，所述第二置信度序列用于表示所述第二事件特征所表示的日志事件序列的置信度分布；
37、根据所述第一置信度序列和所述第二置信度序列，得到所述第四损失
38、为了实现上述目的，本专利技术第二方面还提供一种日志分析装置，该装置包括：
39、结构化处理模块，用于对待分析的日志数据进行结构化处理，得到与所述日志数据对应的日志事件；
40、事件拼接模块，用于对多个日志事件拼接，得到事件文本序列；
41、分析模块，用于将所述事件文本序列输入与目标预测任务对应的目标预测模型中处理，得到所述日志数据在所述目标预测任务上的目标处理结果；
42、其中，所述目标预测模型包括编码模型和解码模型，所述编码模型是采用与所述日志数据对应的样本日志数据和日志文本词表对预设的预训练语言模型训练得到的。
43、为了实现上述目的，本专利技术第三方面还提供一种电子设备，包括：
44、一个或多个处理器；
45、存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术第一方面所述的日志分析方法；
<本文档来自技高网...【技术保护点】
1.一种日志分析方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述目标预测任务包括事件预测任务；
3.根据权利要求1所述的方法，其特征在于，所述编码模型通过以下步骤训练得到：
4.根据权利要求3所述的方法，其特征在于，所述编码模型包括文本编码子模型和事件编码子模型；
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一文本特征、所述第一事件特征以及所述第二事件特征，得到第二损失值，包括：
6.根据权利要求4所述的方法，其特征在于，所述根据所述第一文本特征和所述第一遮蔽文本特征，获取所述编码模型的第一损失，包括：
7.根据权利要求5所述的方法，其特征在于，所述获取所述第一文本特征和所述第一事件特征之间的第三损失，包括：
8.根据权利要求5所述的方法，其特征在于，所述获取所述第一文本特征和所述第二事件特征之间的第四损失，包括：
9.一种日志分析装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括：
11.一种计算机可读介质，其上
...【技术特征摘要】
1.一种日志分析方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述目标预测任务包括事件预测任务；
3.根据权利要求1所述的方法，其特征在于，所述编码模型通过以下步骤训练得到：
4.根据权利要求3所述的方法，其特征在于，所述编码模型包括文本编码子模型和事件编码子模型；
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一文本特征、所述第一事件特征以及所述第二事件特征，得到第二损失值，包括：
6.根据权利要求4所述的方法，其特征在于，所述根据所述第一文...
【专利技术属性】
技术研发人员：窦志成，钱泓锦，吴浩然，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。