一种异常数据检测方法技术

本发明专利技术涉及一种异常数据检测方法。该方法包括：获取原始表格数据集；所述原始表格数据集中的行表示物体，所述物体为观测到的数据，所述原始表格数据集中的列表示维度；根据所述原始表格数据集构造维度映射函数，并利用所述维度映射函数映射所述表格数据集，生成映射后的表格数据集；根据所述映射后的表格数据集构造异常程度打分函数，并利用异常程度打分函数对所述映射后的表格数据集中每个所述物体的异常程度打分，确定异常分；根据所述异常分检测异常数据。本发明专利技术能够满足时间复杂度，空间复杂度，检测精度，可解释性和可扩展性中的多个指标。个指标。个指标。

【技术实现步骤摘要】
一种异常数据检测方法


[0001]本专利技术涉及异常检测领域，特别是涉及一种异常数据检测方法。

技术介绍

[0002]异常数据是与其他观测数据相差很大的观测数据，导致人们怀疑它是由不同的机制产生的。异常数据有可能是噪声，它对数据分析有害，因此应在数据分析之前将其去除。它也可能包含有用信息，可应用于欺诈检测、故障检测、网络入侵检测和工业系统监控等领域。
[0003]识别出异常数据的技术就是异常检测技术，异常检测技术可以分为基于接近的算法(Proximity
‑
basedAlgorithms)，如MOD+，LOF，ODIN，NC，KNN；基于统计模型的算法(Statistical
‑
model
‑
basedAlgorithms)，如MCD，SVM，PCA，ECOD，HBOS；基于学习的算法(Learning
‑
basedModels)，如GAAL，VAE；基于集成的算法(Ensemble
‑
basedAlgorithms)，如IForest。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常数据检测方法，其特征在于，包括：获取原始表格数据集；所述原始表格数据集中的行表示物体，所述物体为观测到的数据，所述原始表格数据集中的列表示维度；根据所述原始表格数据集构造维度映射函数，并利用所述维度映射函数映射所述表格数据集，生成映射后的表格数据集；根据所述映射后的表格数据集构造异常程度打分函数，并利用异常程度打分函数对所述映射后的表格数据集中每个所述物体的异常程度打分，确定异常分；根据所述异常分检测异常数据。2.根据权利要求1所述的异常数据检测方法，其特征在于，所述根据所述映射后的表格数据集构造异常程度打分函数，并利用异常程度打分函数对所述映射后的表格数据集中每个所述物体的异常程度打分，确定异常分，之前还包括：根据所述映射后的表格数据集构造后置处理函数，并根据所述后置处理函数对所述映射后的表格数据集进行后置处理。3.根据权利要求1所述的异常数据检测方法，其特征在于，所述维度映射函数为：其中，为第i个物体第j个维度映射后的表格数据；f(*)为维度映射函数；为第i个物体第j个维度的原始表格数据；M
j
为所述原始表格数据集第j列的中值。4.根据权利要求1所述的异常数据检测方法，其特征在于，所述维度映射函数为：其中，为第i个物体第j个维度映射后的表格数据；f(*)为维度映射函数；为第i个物体第j个维度的原始表格数据；k为近邻；为第k个比大的值；为第k个比小的值；V为对X
j
进行排序后的结果，X
j
为原始表格数据中的第j列。5.根据权利要求1所述的异常数据检测方法，其特征在于，所述维度映射函数为：5.根据权利要求1所述的异常数据检测方法，其特征在于，所述维度映射函数为：为第i个物体第j个维度映射后的表格数据；f(*)为维度映射函数；为第i个物体第j个维度的原始表格数据；k为近邻；为第p个比大的值；为第p个比小的值；V为对X
j
进行排序后的结果，X
j
为原始表格数据中的第j列。6.根据权利要求1所述的异常数据检测方法，其特征在于，所述维度映射函数为：...

【专利技术属性】
技术研发人员：杨加卫，王逸平，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：