一种异常值检测方法、装置、终端设备及存储介质制造方法及图纸

本申请适用于检测技术领域，提供了一种异常值检测方法、装置、终端设备及存储介质，该方法包括：获取待检测数据；对所述待检测数据进行特征提取，得到所述待检测数据的第一特征；根据聚类算法对所述第一特征进行聚类，得到所述第一特征的聚类标签；将聚类标签为目标标签的待检测数据确定为异常值。本申请一定程度上可以解决目前的异常值检测中没有合适的阈值，导致检测的准确率低的问题。

【技术实现步骤摘要】
一种异常值检测方法、装置、终端设备及存储介质
本申请属于检测领域，尤其涉及一种异常值检测方法、装置、终端设备及存储介质。
技术介绍
随着科学技术的发展，机器学习算法已经被应用到各个领域。比如，使用机器学习算法进行异常值检测，异常值检测是指在一个数据集合中，寻找与该数据集合中的大多数样本不同的样本。机器学习算法包括监督机器学习算法(SupervisedLearning)和非监督机器学习算法(UnsupervisedLearning)。由于监督机器学习需要预先提供数据标签，而异常值的标签比较难获取，因此，通常使用非监督机器学习算法进行异常值检测。在使用非监督机器学习算法进行异常值检测时，需要先对非监督学习模型进行训练。在训练过程中，先将训练集输入非监督学习模型中，该训练集中的数据为正常数据且服从概率分布函数。然后再根据验证集(该验证集中包含正常数据和异常数据)寻找一个合适的阈值。在检测过程中，如果计算出来的样本的概率大于该阈值，则该样本为正常数据，反之，则为异常数据。然而，在实际训练过程中，该验证集并不好找，而且一旦寻找的验本文档来自技高网...

【技术保护点】
1.一种异常值检测方法，其特征在于，包括：/n获取待检测数据；/n对所述待检测数据进行特征提取，得到所述待检测数据的第一特征；/n根据聚类算法对所述第一特征进行聚类，得到所述第一特征的聚类标签；/n将聚类标签为目标标签的待检测数据确定为异常值。/n

【技术特征摘要】
1.一种异常值检测方法，其特征在于，包括：
获取待检测数据；
对所述待检测数据进行特征提取，得到所述待检测数据的第一特征；
根据聚类算法对所述第一特征进行聚类，得到所述第一特征的聚类标签；
将聚类标签为目标标签的待检测数据确定为异常值。


2.如权利要求1所述的异常值检测方法，其特征在于，所述对所述待检测数据进行特征提取，得到所述待检测数据的第一特征，包括：
通过经过训练的自动编码器对所述待检测数据进行特征提取，得到所述待检测数据的第一特征。


3.如权利要求2所述的异常值检测方法，其特征在于，所述通过训练好的自动编码器对所述待检测数据进行特征提取，得到所述待检测数据的第一特征，包括：
将所述待检测数据输入自动编码器的输入层，得到所述自动编码器的中间层输出的第二特征；
根据所述第二特征以及所述待检测数据的重构误差确定所述待检测数据的第一特征。


4.如权利要求2或3任一项所述的异常值检测方法，其特征在于，所述自动编码器的训练方法包括：
将训练样本集输入所述自动编码器的输入层，得到所述自动编码器中的中间层输出的各个训练样本的第三特征，所述训练样本集包括预设数量的训练样本，所述训练样本包括正样本和负样本；
根据所述训练样本的第三特征以及所述训练样本的重构误差确定所述训练样本的第四特征；
根据各个所述训练样本的第四特征以及所述聚类算法的目标函数进行计算，得到第一最小值；
若所述第一最小值不满足预设终止条件，则根据所述第一最小值更新所述自动编码器的网络参数，并返回将训练样本集输入所述自动编码器的输入层，得到所述自动编码器中的中间层输出的第三特...

【专利技术属性】
技术研发人员：余坤宏，支晓峰，曾凌云，
申请(专利权)人：上海金仕达软件科技有限公司，
类型：发明
国别省市：上海;31