一种特征提取模型训练方法及设备技术

本申请实施例提供了一种特征提取模型训练方法及设备。该方法为：计算设备在训练特征提取模型时，将待训练样本中的日志文本和实际问题根因分别输入特征提取模型，得到第一日志特征向量和第一根因特征向量，然后针对得到的第一日志特征向量进行分类，得到预测问题类别，然后将所述第一日志特征向量和所述第一根因特征向量进行匹配，得到匹配结果，最后根据所述预测问题类别和所述实际问题类别，以及所述匹配结果，对所述特征提取模型的参数进行调整。在该方案中，由于计算设备能够利用历史样本的问题根因和问题类别信息实现对特征提取模型的训练，因此，该方法可以提高特征提取模型的准确性。

A training method and equipment for feature extraction model

【技术实现步骤摘要】
一种特征提取模型训练方法及设备
本申请涉及机器学习
，尤其涉及一种特征提取模型训练方法及设备。
技术介绍
在日常的软件设计、软件开发、软件测试等众多过程中，计算设备会源源不断地产生日志文本。当计算设备运行系统时，若出现运行异常，则计算设备会生成异常信息并存入日志中。异常信息也可以称为是日志文本。由于计算设备存入日志的异常信息一般仅仅是当前软件和/或硬件中的表面现象，而非产生异常的根因。因此计算设备在运行软件过程中，尤其是在测试大规模软件的场景下，如果计算设备可以根据日志中的日志文本，自动地完成异常的根因定界定位，并提供解决办法，能够极大地提升工作人员分析和解决异常的效率。目前的日志异常自动定位方法，一般采用通过数学模型来实现。其中，维护数学模型包括以下步骤：1、积累大量的历史数据样本，其中每个历史数据样本可以用(日志文本，问题类别，问题根因，解决办法)这样一个四元组来表示。2、基于历史数据样本训练特征提取模型。所述特征提取模型可以通过神经网络或者人工构造文本特征等机器学习算法实现。3、使用特征提取模型进行问题根因预测。即计算设备使用特征提取模型提取待预测日志文本中的日志特征向量，并基于所述日志特征向量进行分类，得到问题类别的分类标签，并基于该分类标签确定问题根因和解决办法。4、人工反馈和定位模型迭代。当特征提取模型上线预测后，计算设备可以根据后续人工反馈的数据样本，不断优化迭代定位模块，以提高得到的问题类别的准确性。通常情况下，由于实际运行情况复杂多变，计算设备运行异常的问题根因可以是无限多的，而工作人员总结的问题类别数量有限，因此，现有的特征提取模型中，一般是以问题类别作为分类标签进行训练的。然而，模型训练过程和使用模型进行预测过程只能利用到历史数据样本中的问题类别信息，而无法有效地使用问题根因信息，这导致特征提取模型对历史数据样本中的问题根因信息利用不充分，进而使特征提取模型准确性较差，最终导致使用特征提取模型预测得到日志特征向量计算得到的问题根因准确性较差。
技术实现思路
本申请提供了一种特征提取模型训练方法及设备，能够利用历史数据样本的问题根因和问题类别信息实现对特征提取模型的训练，以提高特征提取模型的准确性。第一方面，本申请实施例提供了一种特征提取模型训练方法，所述方法包括：计算设备获取待训练样本，其中，所述待训练样本中包含日志文本、实际问题类别和实际问题根因；所述计算设备将所述日志文本输入所述特征提取模型，得到第一日志特征向量；将所述实际问题根因输入所述特征提取模块，得到第一根因特征向量；所述计算设备将所述第一日志特征向量输入分类器模型，得到预测问题类别；所述计算设备将所述第一日志特征向量和所述第一根因特征向量进行匹配，得到匹配结果；最后，所述计算设备根据所述预测问题类别和所述实际问题类别，以及所述匹配结果，对所述特征提取模型的参数进行调整。在该方法中由于计算设备能够利用历史样本的问题根因和问题类别信息实现对特征提取模型的训练，因此，该方法可以提高特征提取模型的准确性，进而可以提高根据使用该特征提取模型预测得到的日志特征向量计算得到的问题根因的准确性。在一个可能的设计中，所述计算设备可以通过以下方式将所述第一日志特征向量和所述第一根因特征向量进行匹配，得到匹配结果：所述计算设备将所述第一日志特征向量输入第一特征推理模型，得到与所述第一日志特征向量匹配的第二根因特征向量；其中，所述第一特征推理模型用于推理得到与日志特征向量匹配的根因特征向量；所述计算设备计算所述第一根因特征向量与所述第二根因特征向量之间的相似度；然后所述计算设备根据所述相似度，确定所述匹配结果。可选的，在本设计中，所述匹配结果可以通过多种形式表示。例如，所述匹配结果可以为所述第一根因特征向量与所述第二根因特征向量之间的相似度。又例如，所述匹配结果可以为匹配或不匹配。再例如，所述匹配结果可以为匹配等级。通过以上设计，所述计算设备可以准确地得到所述第一日志特征向量和所述第一根因特征向量之间的匹配结果。在一个可能的设计中，所述计算设备可以通过以下方式将所述第一日志特征向量和所述第一根因特征向量进行匹配，得到匹配结果：所述计算设备将所述第一根因特征向量输入第二特征推理模型，得到与所述第一根因特征向量匹配的第二日志特征向量；其中，所述第二特征推理模型用于推理得到与根因特征向量匹配的日志特征向量；所述计算设备计算所述第一日志特征向量与所述第二日志特征向量之间的相似度；最后，计算设备根据所述相似度，确定所述匹配结果。可选的，在本设计中，所述匹配结果可以通过多种形式表示。例如，所述匹配结果可以为所述第一日志特征向量与所述第二日志特征向量之间的相似度。又例如，所述匹配结果可以为匹配或不匹配。再例如，所述匹配结果可以为匹配等级。通过以上设计，所述计算设备可以准确地得到所述第一日志特征向量和所述第一根因特征向量之间的匹配结果。在一个可能的设计中，所述计算设备可以通过以下方式将所述第一日志特征向量和所述第一根因特征向量进行匹配，得到匹配结果，包括：所述计算设备将所述第一日志特征向量和所述第一根因特征向量输入全连接神经网络模型，得到所述第一日志特征向量与所述第一根因特征向量之间的相关系数；所述相关系数用于表示所述第一日志特征向量与所述第一根因特征向量之间的相关程度；所述计算设备根据所述相关系数，确定所述匹配结果。可选的，在本设计中，所述匹配结果可以通过多种形式表示。例如，所述匹配结果可以为所述第一日志特征向量与所述第一根因特征向量之间的相关系数。又例如，所述匹配结果可以为匹配或不匹配。再例如，所述匹配结果可以为匹配等级。通过以上设计，所述计算设备可以准确地得到所述第一日志特征向量和所述第一根因特征向量之间的匹配结果。在一个可能的设计中，所述计算设备根据所述预测问题类别和所述实际问题类别，以及所述匹配结果，对所述特征提取模型的参数进行调整，包括：首先，所述计算设备根据所述预测问题类别和所述实际问题类别，计算第一误差；然后所述计算设备根据所述匹配结果，计算第二误差；最后，所述计算设备根据所述第一误差和所述第二误差，对所述特征提取模型的参数进行调整。示例性的，所述处理器可以对所述第一误差和所述第二误差进行加权求和，以得到一个综合误差(还可以称为联合损失)，并根据所述综合误差，对所述特征提取模型的参数进行调整。例如，所述综合误差满足公式：L＝α*L1+β*L2。由于所述第一误差和所述第二误差均可以说明所述特征提取向量模型的误差情况或准确性，因此根据所述第一误差和所述第二误差，对所述特征提取模型的参数进行调整，可以提高调整后的特征提取模型的准确性。在一个可能的设计中，所述计算设备根据所述预测问题类别和所述实际问题类别，计算第一误差，并根据所述第一误差对所述分类器模型的参数进行调整。所述计算设备可以同时对所述特征提取模型和所述分类器模型进行训练，由于预测问题类别是通过所述分类器模型得到的，因此，预测问题本文档来自技高网...

【技术保护点】
1.一种特征提取模型训练方法，其特征在于，所述方法包括：/n获取待训练样本，其中，所述待训练样本中包含日志文本、实际问题类别和实际问题根因；/n将所述日志文本输入所述特征提取模型，得到第一日志特征向量；将所述实际问题根因输入所述特征提取模块，得到第一根因特征向量；/n将所述第一日志特征向量输入分类器模型，得到预测问题类别；/n将所述第一日志特征向量和所述第一根因特征向量进行匹配，得到匹配结果；/n根据所述预测问题类别和所述实际问题类别，以及所述匹配结果，对所述特征提取模型的参数进行调整。/n

【技术特征摘要】
1.一种特征提取模型训练方法，其特征在于，所述方法包括：
获取待训练样本，其中，所述待训练样本中包含日志文本、实际问题类别和实际问题根因；
将所述日志文本输入所述特征提取模型，得到第一日志特征向量；将所述实际问题根因输入所述特征提取模块，得到第一根因特征向量；
将所述第一日志特征向量输入分类器模型，得到预测问题类别；
将所述第一日志特征向量和所述第一根因特征向量进行匹配，得到匹配结果；
根据所述预测问题类别和所述实际问题类别，以及所述匹配结果，对所述特征提取模型的参数进行调整。


2.如权利要求1所述的方法，其特征在于，将所述第一日志特征向量和所述第一根因特征向量进行匹配，得到匹配结果，包括：
将所述第一日志特征向量输入第一特征推理模型，得到与所述第一日志特征向量匹配的第二根因特征向量；其中，所述第一特征推理模型用于推理得到与日志特征向量匹配的根因特征向量；
计算所述第一根因特征向量与所述第二根因特征向量之间的相似度；
根据所述相似度，确定所述匹配结果。


3.如权利要求1所述的方法，其特征在于，将所述第一日志特征向量和所述第一根因特征向量进行匹配，得到匹配结果，包括：
将所述第一根因特征向量输入第二特征推理模型，得到与所述第一根因特征向量匹配的第二日志特征向量；其中，所述第二特征推理模型用于推理得到与根因特征向量匹配的日志特征向量；
计算所述第一日志特征向量与所述第二日志特征向量之间的相似度；
根据所述相似度，确定所述匹配结果。


4.如权利要求1所述的方法，其特征在于，将所述第一日志特征向量和所述第一根因特征向量进行匹配，得到匹配结果，包括：
将所述第一日志特征向量和所述第一根因特征向量输入全连接神经网络模型，得到所述第一日志特征向量与所述第一根因特征向量之间的相关系数；所述相关系数用于表示所述第一日志特征向量与所述第一根因特征向量之间的相关程度；
根据所述相关系数，确定所述匹配结果。


5.如权利要求1-4任一项所述的方法，其特征在于，根据所述预测问题类别和所述实际问题类别，以及所述匹配结果，对所述特征提取模型的参数进行调整，包括：
根据所述预测问题类别和所述实际问题类别，计算第一误差；
根据所述匹配结果，计算第二误差；
根据所述第一误差和所述第二误差，对所述特征提取模型的参数进行调整。


6.一种问题根因预测方法，其特征在于，所述方法包括：
将待预测日志文本输入特征提取模型，得到待预测日志特征向量；
获取存储的多个历史特征向量样本，其中，每个历史特征向量样本中包含日志特征向量样本和根因特征向量样本；
根据所述待预测日志特征向量与每个历史特征向量样本中包含的日志特征向量样本和根因特征向量样本，计算所述待预测日志特征向量与每个历史特征向量样本之间的相关系数；所述待预测日志特征向量与每个历史特征向量样本之间的相关系数用于表示所述待预测日志特征向量与每个历史特征向量样本之间的相关程度；
在所述多个历史特征向量样本中，确定与所述待预测日志特征向量之间的相关系数最高目标历史特征向量样本；
确定所述目标历史特征向量样本对应的目标问题根因作为所述待预测日志文本的问题根因预测结果。


7.如权利要求6所述的方法，其特征在于，所述多个历史特征向量样本中每个历史特征向量样本中包含的日志特征向量样本和根因特征向量样本是通过所述特征提取模型得到的。


8.如权利要求6或7所述的方法，其特征在于，根据所述待预测日志特征向量与每个历史特征向量样本中包含的日志特征向量和根因特征向量，计算所述待预测日志特征向量与每个历史特征向量样本之间的相关系数，包括：
确定第i个历史特征向量样本中包含的日志特征向量样本和根因特征向量样本，其中，所述第i个历史特征向量样本为所述多个历史特征向量样本中的任一个；
根据所述待预测日志特征向量与所述日志特征向量样本，计算第一相关系数，其中，所述第一相关系数为所述待预测日志特征向量与所述日志特征向量样本之间的相似度；
根据所述待预测日志特征向量与所述根因特征向量样本，计算第二相关系数，其中，所述第二相关系数为所述待预测日志特征向量与所述根因特征向量样本之间的相关系数，所述待预测日志特征向量与所述根因特征向量样本之间的相关系数用于表示所述待预测日志特征向量与所述根因特征向量样本之间的相关程度；
将所述第一相关系数与所述第二相关系数的加权和作为所述待预测日志特征向量与所述第i个历史特征向量样本的相关系数。


9.如权利要求8所述的方法，其特征在于，根据所述待预测日志特征向量与所述根因特征向量样本，计算所述第二相关系数，包括：
将所述待预测日志特征向量输入第一特征推理模型，得到与所述待预测日志特征向量匹配的推理根因特征向量；并计算所述推理根因特性向量与所述根因特征向量样本之间的相似度，将所述相似度作为所述第二相关系数；其中，所述第一特征推理模型用于推理得到与日志特征向量匹配的根因特征向量；或者
将所述根因特征向量样本输入第二特征推理模型，得到与所述根因特征向量样本匹配的推理日志特征向量；并计算所述推理日志特征向量与所述待预测日志特征向量之间的相似度，将所述相似度作为所述第二相关系数；其中，所述第二特征推理模型用于推理得到与根因特征向量匹配的日志特征向量；或者
将所述待预测日志特征向量和所述根因特征向量样本输入全连接神经网络模型，得到所述第二相关系数。


10.如权利要求6-9任一项所述的方法，其特征在于，所述方法还包括：
确定所述目标历史特征向量样本对应的目标问题类别作为所述待预测日志文本的问题类别预测结果；或者
确定所述目标历史特征向量样本对应的目标解决办法作为所述待预测日志文本的解决办法预测结果。


11.一种计算设备，其特征在于，包括：
获取单元，用于获取待训练样本，其中，所述待训练样本中包含日志文本、实际问题类别和实际问题根因；
计算单元，用于将所述日志文本输入所述特征提取模型，得到第一日志特征向量；将所述实际问题根因输入所述特征提取模块，得到第一根因特征向量；将所述第一日志特征向量输入分类器模型，得到预测问题类别；以及将所述第一日志特征向量和所述第一根因特征向量进行匹配，得到匹配结果；
调整单元，用于根据所述预测问题类别和...

【专利技术属性】
技术研发人员：覃元元，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44