异常日志解析方法、装置、设备及介质制造方法及图纸

本申请提供一种异常日志解析方法、装置、设备及介质，涉及人工智能技术领域。在面向目标算子产生异常日志的情况下，针对多条异常日志中的异常日志，使用预训练语言模型结合注意力机制确定异常日志的描述信息向量，从异常日志中筛选出与当前任务更紧密相关的语义信息，使得获取异常日志的描述信息向量更加精准；通过LSTM网络模型对多条异常日志对应的描述信息向量进行上下文语义特征的准确提取，得到多条异常日志对应的上下文语义特征向量，并输出上下文语义特征向量的概率分布中最大概率对应的报错类型，提高对异常日志解析时对异常类型的识别准确率，降低定位日志中错误的成本，满足用户丰富的建模需求和短时间快速建模的时效性。时效性。时效性。

【技术实现步骤摘要】
异常日志解析方法、装置、设备及介质


[0001]本申请涉及人工智能
，尤其涉及一种异常日志解析方法、装置、设备及介质。

技术介绍

[0002]技术发展促进金融产业与人工智能深度融合，为金融产业创新发展提供契机。大数据时代，金融行业沉淀了大量数据资产，包括各类用户信息、金融交易信息等，运用好人工智能技术对这些数据进行学习分析将大幅降低人力成本并提升金融风控及业务处理能力。
[0003]机器学习建模平台作为一个集数据准备、数据处理、数据拆分、特征工程、模型训练、模型预测与评估等全流程功能平台，可针对金融领域的智能营销、风险管理等业务场景进行结构化建模，提供拖拉拽、流程化的建模工具，降低用户建模门槛，助力金融领域大规模人工智能的应用。机器学习建模平台通常会封装众多开箱即用的算子，包括机器学习建模所需的数据处理、特征工程、模型训练、模型评估等多种类型算子，建模人员只需根据自己的建模需求，拖拽不同种类型的算子组合成完整的有向无环图(Directed Acyclic Graph，简称DAG)即可完成模型构建。算子运行通常会产生日志，当算子运行失败时用户就需要从日志中寻找算子运行失败的原因。但伴随系统复杂度的提升，日志所包含的信息量也是成倍的增长，人工从海量日志中定位错误的成本非常高，也难以满足用户丰富的建模需求和短时间快速建模的时效性，因此使用人工智能技术进行智能日志诊断解析势在必行。

技术实现思路

[0004]本申请提供一种异常日志解析方法、装置、设备及介质，用以降低定位日志中错误的成本，满足用户丰富的建模需求和短时间快速建模的时效性。
[0005]第一方面，本申请提供一种异常日志解析方法，包括：
[0006]在面向目标算子产生异常日志的情况下，获取多条异常日志；
[0007]针对多条异常日志中的每一条异常日志，将所述异常日志输入至预训练语言模型进行向量化处理，得到所述异常日志对应的日志向量；基于注意力机制，确定所述异常日志与下一条异常日志的注意力交互矩阵；根据所述日志向量与所述注意力交互矩阵，确定所述异常日志的描述信息向量，所述预训练语言模型包括BERT模型和GPT模型；
[0008]将所述多条异常日志对应的描述信息向量输入至长短时记忆结构(Long Short Term Memory，简称LSTM)网络模型进行上下文语义特征提取，得到所述多条异常日志对应的上下文语义特征向量，并输出所述上下文语义特征向量的概率分布中最大概率对应的报错类型。
[0009]在一种可能的实施方式中，基于注意力机制，确定异常日志与下一条异常日志的注意力交互矩阵，包括：确定异常日志中各词与下一条异常日志中各词之间的语义相似度；
根据语义相似度，得到注意力交互矩阵。
[0010]在一种可能的实施方式中，根据日志向量与注意力交互矩阵，确定异常日志的描述信息向量，包括：对日志向量与注意力交互矩阵进行连接处理，得到异常日志的描述信息向量。
[0011]在一种可能的实施方式中，异常日志包含日志头和日志描述信息。对应地，将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量，包括：提取异常日志中包含的日志描述信息；将异常日志包含的日志描述信息输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量。
[0012]在一种可能的实施方式中，将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量，包括：在预设的字典中，匹配异常日志对应的目标异常类型，字典包含设定错误日志和原因分析的对应关系；若匹配失败，则将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的目标向量。
[0013]在一种可能的实施方式中，异常日志解析方法还可以包括：若匹配成功，则输出异常日志和目标异常类型对应的异常日志分析结果，异常日志分析结果包含目标算子产生异常的原因。
[0014]在一种可能的实施方式中，异常日志解析方法还包括：显示机器学习建模平台算子运行的界面，该界面包含第一功能控件，第一功能控件用于触发智能日志解析；响应作用于第一功能控件的交互操作，输出报错类型对应的原因分析。
[0015]在一种可能的实施方式中，界面还包含第二功能控件，该第二功能控件用于触发字典的维护，字典包含设定错误日志和原因分析的对应关系。该情况下，异常日志解析方法还可以包括：响应作用于第二功能控件的交互操作，显示字典；响应作用于字典的交互操作，针对字典执行交互操作对应的增、删、改、查处理中的一种。
[0016]第二方面，本申请提供一种异常日志解析装置，包括：
[0017]获取模块，用于在面向目标算子产生异常日志的情况下，获取多条异常日志；
[0018]第一处理模块，用于针对多条异常日志中的每一条异常日志，将异常日志输入至预训练语言模型进行向量化处理，得到异常日志对应的日志向量；基于注意力机制，确定异常日志与下一条异常日志的注意力交互矩阵；根据日志向量与注意力交互矩阵，确定异常日志的描述信息向量，预训练语言模型包括BERT模型和GPT模型；
[0019]第二处理模块，用于将多条异常日志对应的描述信息向量输入至LSTM网络模型进行上下文语义特征提取，得到多条异常日志对应的上下文语义特征向量，并输出上下文语义特征向量的概率分布中最大概率对应的报错类型。
[0020]第三方面，本申请提供一种电子设备，包括：处理器，以及与该处理器通信连接的存储器；
[0021]存储器存储计算机执行指令；
[0022]处理器执行存储器存储的计算机执行指令，以实现第一方面所述的方法。
[0023]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面所述的方法。
[0024]第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被执
行时实现第一方面所述的方法。
[0025]本申请提供的异常日志解析方法、装置、设备及介质，自动获取异常日志，之后使用预训练语言模型和注意力机制提取异常日志的描述信息向量，并将描述信息向量送入LSTM网络模型提取异常日志的上下文语义特征，并输出上下文语义特征向量的概率分布中最大概率值对应的报错类型。由于预训练语言模型和注意力机制的组合使用，能够从异常日志中筛选出与当前任务更紧密相关的语义信息，使得获取异常日志的描述信息向量更加精准，并通过LSTM网络模型进行处理，进而准确的识别出上下文语义特征，因此可以提高对异常日志解析时对异常类型的识别准确性，降低定位日志中错误的成本，满足用户丰富的建模需求和短时间快速建模的时效性。
附图说明
[0026]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0027]图1为本申请示例性实施例提供的一种应用场景图；
[0028]图2为本申请示例性实施例提供的另一种应用场本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常日志解析方法，其特征在于，包括：在面向目标算子产生异常日志的情况下，获取多条异常日志；针对多条异常日志中的每一条异常日志，将所述异常日志输入至预训练语言模型进行向量化处理，得到所述异常日志对应的日志向量；基于注意力机制，确定所述异常日志与下一条异常日志的注意力交互矩阵；根据所述日志向量与所述注意力交互矩阵，确定所述异常日志的描述信息向量，所述预训练语言模型包括BERT模型和GPT模型；将所述多条异常日志对应的描述信息向量输入至长短时记忆结构LSTM网络模型进行上下文语义特征提取，得到所述多条异常日志对应的上下文语义特征向量，并输出所述上下文语义特征向量的概率分布中最大概率对应的报错类型。2.根据权利要求1所述的异常日志解析方法，其特征在于，所述基于注意力机制，确定所述异常日志与下一条异常日志的注意力交互矩阵，包括：确定所述异常日志中各词与下一条异常日志中各词之间的语义相似度；根据所述语义相似度，得到注意力交互矩阵。3.根据权利要求1所述的异常日志解析方法，其特征在于，所述根据所述日志向量与所述注意力交互矩阵，确定所述异常日志的描述信息向量，包括：对所述日志向量与所述注意力交互矩阵进行连接处理，得到所述异常日志的描述信息向量。4.根据权利要求1至3中任一项所述的异常日志解析方法，其特征在于，所述异常日志包含日志头和日志描述信息，所述将所述异常日志输入至所述预训练语言模型进行向量化处理，得到所述异常日志对应的目标向量，包括：提取所述异常日志中包含的日志描述信息；将所述异常日志包含的日志描述信息输入至所述预训练语言模型进行向量化处理，得到所述异常日志对应的目标向量。5.根据权利要求1至3中任一项所述的异常日志解析方法，其特征在于，所述将所述异常日志输入至所述预训练语言模型进行向量化处理，得到所述异常日志对应的目标向量，包括：在预设的字典中，匹配所述异常日志对应的目标异常类型，所述字典包含设定错误日志和原因分析的对应关系；若匹配失败，则将所述异常日志输入至所述预训练语言模型进行向量化处理，得到所述异常日志对应的目标向量。6.根据权利要求5所述的异常日志解析方法，其特征在于，还包括：若匹配成功，则输出所述异...

【专利技术属性】
技术研发人员：翁兆琦，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：