异常诊断模型的训练方法及装置、电子设备和存储介质制造方法及图纸

本公开公开了异常诊断模型的训练方法及装置、电子设备和存储介质，涉及人工智能技术领域，主要技术方案包括：对源域数据集进行降维，得到第一数据集；对目标域数据集进行降维，得到第二数据集；基于第一数据集对预设模型进行训练，得到第一参数；基于第一数据集与第二数据集，确定第一参数的权重系数；根据权重系数与第一参数确定第二参数，将第二参数应用于异常诊断模型中的目标层级。通过使用开源的源域数据集训练预设模型，用目标数据库的训练数据对预设模型的参数进行微调，使参数可以适配目标数据库，实现使用少量的训练数据对异常诊断模型的训练，避免了训练数据过少的数据库使用人工进行运维，提高了数据库的运维速度与精度。度。度。

【技术实现步骤摘要】
异常诊断模型的训练方法及装置、电子设备和存储介质


[0001]本公开涉及数据处理
，尤其涉及一种异常诊断模型的训练方法及装置、电子设备和存储介质。

技术介绍

[0002]数据库是指按照一定的数据模型组织、存储和管理数据的集合，是一个结构化的数据存储系统，用于存储和管理大量相关数据的集合；数据库在各行各业应用广泛，需要针对高性能、海量数据做出及时的处理。
[0003]现有的数据库的运维方式大部分都为使用人工智能的方式，但是，该种方式存在一定的局限定。集需要大量的训练数据对人工智能进行训练；因此对于训练数据较少的数据库，无法使用人工智能的方式对数据库进行运行、维护。

技术实现思路

[0004]本公开提供了一种异常诊断模型的训练方法、装置、电子设备和存储介质。其主要目的在于解决训练数据较少的数据库无法使用人工智能的方式进行运维的技术问题。
[0005]根据本公开的第一方面，提供了一种异常诊断模型的训练方法，其中，包括：根据预设维度阈值对源域数据集进行降维，得到第一数据集；基于预设降维模型与所述第一数据集，对目标域数据集进行降维，得到第二数据集；其中，所述目标域数据集为目标数据库的日志数据集；基于所述第一数据集，对预设模型进行训练，得到所述预设模型的第一参数；基于所述第一数据集的数据量与所述第二数据集的数据量之比，确定所述第一参数的权重系数；其中，所述权重系数用于确定第一参数在模型中的目标层级中的参数占比；根据所述权重系数与所述第一参数确定拟合后的第二参数，并将所述第二参数应用于异常诊断模型中的目标层级。
[0006]可选的，在根据预设维度阈值对源域数据集进行降维，得到第一数据集之前，所述方法还包括：对日志数据的各项指标信息，按照时间顺序进行拼接，得到各具有时序信息的特征向量，其中，所述特征向量中包含不同指标的参数信息；所述日志数据为数据库的日志数据，所述日志数据中包含正常情况下的日志数据与异常情况下的日志数据；根据各所述参数向量中参数信息，分别对各所述特征向量添加标签；其中，标签用于区分异常数据与正常数据，及异常数据的异常类型；将标注标签后的各所述特征向量封装为所述目标域数据集。
[0007]可选的，所述根据预设维度阈值对源域数据集进行降维，得到第一数据集还包括：对所述源域数据集进行第一降维，得到第一降维结果；根据所述第一降维结果的协方差矩阵的特征向量，确定所述第一降维结果是否满足所述预设维度阈值；
在第一降维结果不满足所述预设维度阈值时，在所述第一降维结果的基础上，继续对所述第一降维结果进行第二降维，并继续判断第二降维结果是否满足所述预设维度阈值，直至降维结果满足所述预设维度阈值；在第一降维结果满足所述预设维度阈值时，停止对所述源域数据的降维，得到第一数据集。
[0008]可选的，所述基于预设降维模型与所述第一数据集，对目标域数据集进行降维包括：在所述预设降维模型中，通过正则化项得到所述目标域数据集的稀疏编码形式；根据所述第一数据集的特征分布与所述稀疏编码形式的特征分布计算第一损失函数；若所述第一损失函数大于第一预设阈值，则根据所述损失函数调整所述预设降维模型参数，并继续执行对所述目标域数据集的降维，直至损失函数满足预设阈值条件后，输出降维结果，得到降维后的所述目标域数据集；若所述第一损失函数小于或等于所述第一预设阈值，则输出降维结果，得到降维后的所述目标域数据集。
[0009]可选的，所述基于所述第一数据集，对预设模型进行训练，得到所述预设模型的第一参数包括：基于注意力机制对所述第一数据集中的不同特征向量，分配不同的注意力权重；基于前向长短期记忆网络，对所述第一数据集中的各所述特征向量，按照正向时序进行学习，得到各特征向量的前向隐藏状态向量；基于后向长短期记忆网络，对所述第一数据集中的各所述特征向量，按照反向时序进行学习，得到各特征向量的后向隐藏状态向量；根据各所述特征向量的前向隐藏状态向量、后向隐藏状态向量及注意力权重，确定所述预设模型的输出结果；其中，所述输出结果为对各所述特征向量的类型的预测标签；根据所述预测结果与所述特征向量的真实标签计算损失函数，并使用所述损失函数修正所述预设模型的模型参数；其中，所述第一数据集中包含各特征向量的真实标签；重复上述训练过程，直至损失函数小于或等于第二预设阈值后，停止训练。
[0010]可选的，所述基于所述第一数据集与所述第二数据集的数据量之比，确定所述第一参数的权重系数还包括：将所述第一数据集的数据量与所述第二数据集中的数据量比确定为迁移系数；计算所述预设模型的期望矩阵与特征矩阵，根据所述期望矩阵、特征矩阵及所述迁移系数，计算所述权重系数。
[0011]可选的，在将所述第二参数应用于异常诊断模型中的目标层级之后，所述方法还包括：获取数据库的日志数据，并将所述日志数据输入所述异常诊断模型；所述异常诊断模型输出根据所述日志数据判断是否存在异常类型，并在存在异常类型的情况下，输出对应的异常类型。
[0012]根据本公开的第二方面，提供了一种异常诊断模型的训练装置，包括：第一降维单元，用于根据预设维度阈值对源域数据集进行降维，得到第一数据集；
第二降维单元，用于基于预设降维模型与所述第一数据集，对目标域数据集进行降维，得到第二数据集；其中，所述目标域数据集为目标数据库的日志数据集；训练单元，用于基于所述第一数据集，对预设模型进行训练，得到所述预设模型的第一参数；确定单元，用于基于所述第一数据集的数据量与所述第二数据集的数据量之比，确定所述第一参数的权重系数；其中，所述权重系数用于确定第一参数在模型中的目标层级中的参数占比；拟合单元，用于根据所述权重系数与所述第一参数确定拟合后的第二参数，并将所述第二参数应用于异常诊断模型中的目标层级。
[0013]可选的，所述装置还包括：拼接单元，用于在第一降维单元根据预设维度阈值对源域数据集进行降维，得到第一数据集之前，对日志数据的各项指标信息，按照时间顺序进行拼接，得到各具有时序信息的特征向量，其中，所述特征向量中包含不同指标的参数信息；所述日志数据为数据库的日志数据，所述日志数据中包含正常情况下的日志数据与异常情况下的日志数据；添加单元，用于根据各所述参数向量中参数信息，分别对各所述特征向量添加标签；其中，标签用于区分异常数据与正常数据，及异常数据的异常类型；封装单元，用于将标注标签后的各所述特征向量封装为所述目标域数据集。
[0014]可选的，所述第一降维单元还用于：对所述源域数据集进行第一降维，得到第一降维结果；根据所述第一降维结果的协方差矩阵的特征向量，确定所述第一降维结果是否满足所述预设维度阈值；若不满足，则在所述第一降维结果的基础上，继续对所述第一降维结果进行第二降维，并继续判断第二降维结果是否满足所述预设维度阈值，直至降维结果满足所述预设维度阈值；若满足，则停止对所述源域数据的降维，得到第一数据集。
[0015]可选的，所述第二降维单元还用于：在所述预设降维模型中，通过正则化项得到所述目标域数据集的稀疏编码形式；根据所述第一数据集的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常诊断模型的训练方法，其特征在于，包括：根据预设维度阈值对源域数据集进行降维，得到第一数据集；基于预设降维模型与所述第一数据集，对目标域数据集进行降维，得到第二数据集；其中，所述目标域数据集为目标数据库的日志数据集；基于所述第一数据集，对预设模型进行训练，得到所述预设模型的第一参数；基于所述第一数据集的数据量与所述第二数据集的数据量之比，确定所述第一参数的权重系数；其中，所述权重系数用于确定第一参数在模型中的目标层级中的参数占比；根据所述权重系数与所述第一参数确定拟合后的第二参数，并将所述第二参数应用于异常诊断模型中的目标层级。2.根据权利要求1所述的方法，其特征在于，在根据预设维度阈值对源域数据集进行降维，得到第一数据集之前，所述方法还包括：对日志数据的各项指标信息，按照时间顺序进行拼接，得到各具有时序信息的特征向量，其中，所述特征向量中包含不同指标的参数信息；所述日志数据中包含正常情况下的日志数据与异常情况下的日志数据；根据各所述参数向量中参数信息，分别对各所述特征向量添加标签；其中，标签用于区分异常数据与正常数据，及异常数据的异常类型；将标注标签后的各所述特征向量封装为所述目标域数据集。3.根据权利要求2所述的方法，其特征在于，所述根据预设维度阈值对源域数据集进行降维，得到第一数据集还包括：对所述源域数据集进行第一降维，得到第一降维结果；根据所述第一降维结果的协方差矩阵的特征向量，确定所述第一降维结果是否满足所述预设维度阈值；若不满足，则在所述第一降维结果的基础上，继续对所述第一降维结果进行第二降维，并继续判断第二降维结果是否满足所述预设维度阈值，直至降维结果满足所述预设维度阈值；若满足，则停止对所述源域数据的降维，得到第一数据集。4.根据权利要求1所述的方法，其特征在于，所述基于预设降维模型与所述第一数据集，对目标域数据集进行降维包括：在所述预设降维模型中，通过正则化项得到所述目标域数据集的稀疏编码形式；根据所述第一数据集的特征分布与所述稀疏编码形式的特征分布计算第一损失函数；若所述第一损失函数大于第一预设阈值，则根据所述损失函数调整所述预设降维模型参数，并继续执行对所述目标域数据集的降维，直至损失函数满足预设阈值条件后，输出降维结果，得到降维后的所述目标域数据集；若所述第一损失函数小于或等于所述第一预设阈值，则输出降维结果，得到降维后的所述目标域数据集。5.根据权利要求1所述的方法，其特征在于，所述基于所述第一数据集，对预设模型进行训练，得到所述预设模型的第一参数包括：基于注意力机制对所述第一数据集中的不同特征向量，分配不同的注意力权重；基于前向长短期记忆网络，对所述第一数据集中的各所述特征向量，按照正向时序进
行学习，得到各特征向量的前向隐藏状态...

【专利技术属性】
技术研发人员：丁辰晖，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：