本发明专利技术提供了一种异常检测模型训练方法、异常检测方法及装置，其中，异常检测模型训练方法包括：获取初始训练集；将初始训练集中的样本分别输入不同的异常分类模型进行预测，并根据预测类别进行标签标记；基于各样本对应的预测类别和标签分别计算各样本的投票熵；对投票熵大于熵值阈值的样本进行目标标记；利用带有目标标记的样本对目标异常分类模型进行训练，得到训练好的目标异常分类模型。在最大化提高异常检测模型准确率的同时，大幅降低由于过度依赖特征工程或对异常模式的挖掘单一导致异常检测假阳性概率过高的情况发生。致异常检测假阳性概率过高的情况发生。致异常检测假阳性概率过高的情况发生。
【技术实现步骤摘要】
一种异常检测模型训练方法、异常检测方法及装置
[0001]本专利技术涉及异常检测领域，具体涉及一种异常检测模型训练方法、异常检测方法及装置。
技术介绍
[0002]现有的异常检测方式大多是采用无监督的方法，例如基于密度、距离以及基于聚类等的方式进行异常检测，传统的无监督异常检测方法在原始的数据上进行特征工程的计算得到异常分数排序列表，利用异常分数排序列表进行异常检测，因此，特征工程的好坏极大程度地影响了异常检测的准确度，由于缺乏领域知识，其对异常模式的挖掘单一，异常检测结果可能存在噪声或用户不感兴趣的异常模式，导致假阳性(即真实结果为假，但是算法的预测结果为真)的概率增加。
[0003]若采用有监督的异常检测方式，虽然可以通过预先的训练集去训练一个异常检测准确率较高的模型，但由于异常结果属于少数，往往不能获得足够的带有标签的训练数据提供给模型来进行学习。
技术实现思路
[0004]因此，本专利技术要解决的技术问题在于克服现有技术中的有监督异常检测模型由于训练集样本过少导致无法保证其学习效果，且无监督异常检测方式存在假阳性概率过高的缺陷，从而提供一种异常检测模型训练方法、异常检测方法及装置。
[0005]根据第一方面，本专利技术实施例提供了一种异常检测模型训练方法，所述方法包括：
[0006]获取初始训练集，所述初始训练集内包含若干样本；
[0007]将所述初始训练集中的样本分别输入不同的异常分类模型进行预测，并根据预测类别进行标签标记；
[0008]基于各样本对应的所述预测类别和所述标签分别计算各样本的投票熵；
[0009]对投票熵大于熵值阈值的样本进行目标标记；
[0010]利用带有目标标记的样本对目标异常分类模型进行训练，得到训练好的目标异常分类模型。
[0011]可选地，所述对投票熵大于熵值阈值的样本进行目标标记，包括：
[0012]获取投票熵大于熵值阈值的当前样本的属性，所述属性数量为若干；
[0013]对所述当前样本的属性进行权重计算，得到各属性的特征值；
[0014]将各所述属性的特征值进行降序排序，确定所述当前样本的异常属性顺序；
[0015]基于所述异常属性顺序对所述当前样本进行目标标记。
[0016]可选地，所述基于所述异常属性顺序对所述当前样本进行目标标记，包括：
[0017]基于所述异常属性顺序选取目标数量的属性；
[0018]基于所述当前样本处于所述目标数量内的属性，对所述当前样本进行目标标记。
[0019]可选地，所述利用带有目标标记的样本对目标异常分类模型进行训练，得到训练
好的目标异常分类模型，包括：
[0020]将带有目标标记的样本输入目标异常分类模型进行模型训练；
[0021]基于模型训练结果计算所述目标异常分类模型的置信度；
[0022]当所有带有目标标记的样本对应的置信度达到置信度阈值时，得到训练好的目标异常分类模型；
[0023]当存在带有目标标记的样本对应的置信度未达到置信度阈值时，重新获取新的初始训练集并返回所述将所述初始训练集中的样本分别输入不同的异常分类模型进行预测的步骤，直至所有带有目标标记的样本对应的置信度达到置信度阈值或者获取初始训练集的次数达到目标次数时，得到训练好的目标异常分类模型。
[0024]可选地，所述异常分类模型为稀疏神经网络模型，其中，各所述稀疏神经网络模型的结构、密度互不相同，从各异常分类模型中确定所述目标异常分类模型。
[0025]可选地，在所述稀疏神经网络模型初始化时，基于所述稀疏神经网络模型相邻层间的连接关系进行权重矩阵初始化，并将权重矩阵中与相邻层间无连接关系的对应位置置零。
[0026]根据第二方面，本专利技术实施例提供了一种异常检测方法，所述方法包括：
[0027]获取待识别样本；
[0028]将所述待识别样本输入至训练好的目标异常分类模型，得到所述待识别样本的异常检测结果。
[0029]根据第三方面，本专利技术实施例提供了一种异常检测模型训练装置，所述装置包括：
[0030]第一获取模块，用于获取初始训练集，所述初始训练集内包含若干样本；
[0031]第一处理模块，用于将所述初始训练集中的样本分别输入不同的异常分类模型进行预测，并根据预测类别进行标签标记；
[0032]第二处理模块，用于基于各样本对应的所述预测类别和所述标签分别计算各样本的投票熵；
[0033]第三处理模块，用于对投票熵大于熵值阈值的样本进行目标标记，所述目标标记包括将样本标记为异常或正常；
[0034]训练模块，用于利用带有目标标记的样本对目标异常分类模型进行训练，得到训练好的目标异常分类模型。
[0035]根据第四方面，本专利技术实施例提供了一种异常检测装置，所述装置包括：
[0036]第二获取模块，用于获取待识别样本；
[0037]检测模块，用于将所述待识别样本输入至训练好的目标异常分类模型，得到所述待识别样本的检测结果。
[0038]根据第五方面，本专利技术实施例提供了一种电子设备，包括：
[0039]存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一/二方面，或者第一/二方面任意一种可选实施方式中所述的方法。
[0040]根据第六方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行第一/二方面，或者第一/二方面任意一种可选实施方式中所述的方法。
[0041]本专利技术技术方案，具有如下优点：
[0042]本专利技术提供的异常检测模型训练方法及装置，通过获取初始训练集，所述初始训练集内包含若干样本；将所述初始训练集中的样本分别输入不同的异常分类模型进行预测，并根据预测类别进行标签标记；基于各样本对应的所述预测类别和所述标签分别计算各样本的投票熵；对投票熵大于熵值阈值的样本进行目标标记；利用带有目标标记的样本对目标异常分类模型进行训练，得到训练好的目标异常分类模型。通过根据预测类别和标签对每个样本分别进行投票熵计算，将投票熵大于熵值阈值的样本进行目标标记，不仅可以有效将存在异常争议的样本进行提取，还可解决由于训练集样本过少导致无法保证异常检测模型学习效果的问题，通过利用带有目标标记的样本对目标异常分类模型进行训练，得到训练好的目标异常分类模型，在最大化提高异常检测模型准确率的同时，大幅降低由于过度依赖特征工程或对异常模式的挖掘单一导致异常检测假阳性概率过高的情况发生。
[0043]本专利技术提供的异常检测方法及装置，通过获取待识别样本；将所述待识别的样本输入至训练好的目标异常分类模型，得到所述待识别样本的异常检测结果。通过利用训练好的目标异常分类模型得到待识别样本的异常检测结果，在大幅降低异常检测假阳性概率的同时，发现用户真正需要的异常检测结果，进一本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种异常检测模型训练方法，其特征在于，包括：获取初始训练集，所述初始训练集内包含若干样本；将所述初始训练集中的样本分别输入不同的异常分类模型进行预测，并根据预测类别进行标签标记；基于各样本对应的所述预测类别和所述标签分别计算各样本的投票熵；对投票熵大于熵值阈值的样本进行目标标记；利用带有目标标记的样本对目标异常分类模型进行训练，得到训练好的目标异常分类模型。2.根据权利要求1所述的方法，其特征在于，所述对投票熵大于熵值阈值的样本进行目标标记，包括：获取投票熵大于熵值阈值的当前样本的属性，所述属性数量为若干；对所述当前样本的属性进行权重计算，得到各属性的特征值；将各所述属性的特征值进行降序排序，确定所述当前样本的异常属性顺序；基于所述异常属性顺序对所述当前样本进行目标标记。3.根据权利要求2所述的方法，其特征在于，所述基于所述异常属性顺序对所述当前样本进行目标标记，包括：基于所述异常属性顺序选取目标数量的属性；基于所述当前样本处于所述目标数量内的属性，对所述当前样本进行目标标记。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述利用带有目标标记的样本对目标异常分类模型进行训练，得到训练好的目标异常分类模型，包括：将带有目标标记的样本输入目标异常分类模型进行模型训练；基于模型训练结果计算所述目标异常分类模型的置信度；当所有带有目标标记的样本对应的置信度达到置信度阈值时，得到训练好的目标异常分类模型；当存在带有目标标记的样本对应的置信度未达到置信度阈值时，重新获取新的初始训练集并返回所述将所述初始训练集中的样本分别输入不同的异常分类模型进行预测的步骤，直至所有带有目标标记的样本对应的置信度达到置信度阈值或者获取初始训练集的次数达到目标次数时，得到训练好的目标异常分类模型。5.根据权利要求1所述的方法...
【专利技术属性】
技术研发人员：刘卫卫，雷舒娅，彭梁英，冯珺，
申请(专利权)人：国网浙江省电力有限公司信息通信分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。