数据异常检测方法及装置、介质和电子设备制造方法及图纸

本公开提供一种数据异常检测方法、装置、存储介质及电子设备；涉及数据处理技术领域。所述方法包括：获取待检测对象数据以及多种用于检测数据中离群点数据的目标异常检测模型；将所述多种目标异常检测模型以降低泛化误差为约束进行模型融合，得到综合检测模型；通过所述综合检测模型对所述待检测对象数据进行异常检测，得到所述待检测对象数据中的异常数据。本公开通过构建综合检测模型检测待检测对象数据，有效增强了异常数据检测的准确性和检测效率。测效率。测效率。

【技术实现步骤摘要】
数据异常检测方法及装置、介质和电子设备


[0001]本公开涉及数据处理领域，具体涉及一种数据异常检测方法、数据异常检测装置、计算机可读存储介质以及电子设备。

技术介绍

[0002]随着互联网业务的加速发展，各种物理设备以及业务应用指标所产生的数据量呈指数级发展。因此，进行数据异常检测的数据量也与日俱增。
[0003]现有技术中，绩效考核是指企业在既定的战略目标下，运用特定的标准和指标，对员工的工作行为及取得的工作业绩进行评估。目前绩效考核在企业中使用，需要相关人员对绩效考核相关数据进行检测，以确保数据正确。
[0004]在实际检测过程中，绩效考核相关数据量大，而相关人员通常人工检测异常数据。因此，异常数据检测的准确性和检测效率都有待提高。
[0005]需要说明的是，在上述
技术介绍
部分公开的消息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的消息。

技术实现思路

[0006]本公开的目的在于提供一种数据异常检测方法、数据异常检测装置、计算机可读存储介质以及电子设备，以解决现有技术中人工检测而导致的异常数据检测的准确性差和检测效率低的问题。
[0007]根据本公开的第一方面，提供一种数据异常检测方法，包括：
[0008]获取待检测对象数据以及多种用于检测数据中离群点数据的目标异常检测模型；
[0009]将所述多种目标异常检测模型以降低泛化误差为约束进行模型融合，得到综合检测模型；
[0010]通过所述综合检测模型对所述待检测对象数据进行异常检测，得到所述待检测对象数据中的异常数据。
[0011]本公开的一种示例性实施例中，获取待检测对象数据包括：
[0012]获取初始待检测对象数据和所述初始待检测对象数据对应的预定条件；
[0013]若所述初始待检测对象数据不满足所述预定条件，则修改不满足所述预定条件的所述初始待检测对象数据；
[0014]将修改后的所述初始待检测对象数据进行数据标准化处理，得到各待检测对象的维度信息统一的多维修正数据；
[0015]对所述多维修正数据中的数据进行归一化处理，得到待检测对象数据。
[0016]本公开的一种示例性实施例中，将修改后的所述初始待检测对象数据进行数据标准化处理，得到各待检测对象的维度信息统一的多维修正数据包括：
[0017]提取所述待检测对象数据中的各维度信息，得到包括全部所述维度信息的数据表；
[0018]将所述待检测对象数据中各待检测对象的数据对应添加到所述数据表中，得到各待检测对象的维度信息统一的多维修正数据。
[0019]本公开的一种示例性实施例中，所述将所述多种目标异常检测模型以降低泛化误差为约束进行模型融合，得到综合检测模型包括：
[0020]将所述多种目标异常检测模型作为stacking模型的基模型；
[0021]将所述基模型按照stacking模型的融合方式进行模型融合，得到综合检测模型。
[0022]本公开的一种示例性实施例中，所述将所述多种目标异常检测模型以降低泛化误差为约束进行模型融合，得到综合检测模型包括：
[0023]将所述多种目标异常检测模型作为stacking模型的基模型；
[0024]将所述基模型按照stacking模型的融合方式进行模型融合，得到综合检测模型。
[0025]本公开的一种示例性实施例中，所述目标异常检测模型为无监督学习的异常检测模型。
[0026]本公开的一种示例性实施例中，所述多种目标异常检测模型分别处理不同数据类型，其中，所述不同数据类型包括：非数值型数据、数值型数据或稀疏数据。
[0027]本公开的一种示例性实施例中，所述初始异常检测模型为孤立森林模型、DBScan算法模型和xgboost算法模型。
[0028]根据本公开的第二方面，提供一种数据异常检测装置，包括：
[0029]基础数据获取模块，用于获取待检测对象数据以及多种用于检测数据中离群点数据的目标异常检测模型；
[0030]模型融合模块，用于将所述多种目标异常检测模型以降低泛化误差为约束进行模型融合，得到综合检测模型；
[0031]检测数据模块，用于通过所述综合检测模型对所述待检测对象数据进行异常检测，得到所述待检测对象数据中的异常数据。
[0032]根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行上述所述的数据异常检测方法。
[0033]根据本公开的第四方面，提供一种电子设备，包括：
[0034]处理器；
[0035]以及存储器，用于存储所述处理器的可执行指令；
[0036]其中，所述处理器配置为经由执行所述可执行指令来执行上述所述的数据异常检测方法。
[0037]本公开的实施例提供的技术方案可以包括以下有益效果：
[0038]本公开的一种实施例中，选择多种目标异常检测模型进行模型融合得到综合检测模型，通过综合检测模型对待检测对象数据进行异常数据检测，能够自动将待检测对象数据中的异常数据检测出来，上述方案，一方面，由于综合检测模型是由多种目标异常检测模型进行模型融合得到，相当于使用多种模型对待检测对象数据进行了检测，并且综合了多种模型的检测信息，有效增强了异常数据检测的准确性；另一方面，综合检测模型自动对待检测对象数据进行异常数据检测，避免了相关人员手动进行指标评判和登记复核，相比于相关人员手动评判和复核，提高了对待检测对象数据进行异常数据检测的检测效率。
[0039]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不
能限制本公开。
附图说明
[0040]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0041]图1示出了可以应用本公开实施例的一种数据异常检测方法的示例性应用环境的系统架构的示意图；
[0042]图2示出了可以应用本公开实施例的一种数据异常检测方法的流程图；
[0043]图3示意性示出本公开示例性实施例中一种获取待检测对象数据的流程图；
[0044]图4示意性示出本公开示例性实施例中一种获得各待检测对象的维度信息统一的多维修正数据的流程图；
[0045]图5示意性示出本公开示例性实施例中一种各待检测对象的维度信息统一的多维修正数据的示例示意图；
[0046]图6示意性示出本公开示例性实施例中一种得到综合检测模型的流程图；
[0047]图7示意性示出本公开示例性实施例中一种基于stacking模型的模型融合的原理示意图；
[0048]图8示意性示出本公开示例性实施例中一种基于stacking本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据异常检测方法，其特征在于，包括：获取待检测对象数据以及多种用于检测数据中离群点数据的目标异常检测模型；将所述多种目标异常检测模型以降低泛化误差为约束进行模型融合，得到综合检测模型；通过所述综合检测模型对所述待检测对象数据进行异常检测，得到所述待检测对象数据中的异常数据。2.根据权利要求1所述的方法，其特征在于，获取待检测对象数据包括：获取初始待检测对象数据和所述初始待检测对象数据对应的预定条件；若所述初始待检测对象数据不满足所述预定条件，则修改不满足所述预定条件的所述初始待检测对象数据；将修改后的所述初始待检测对象数据进行数据标准化处理，得到各待检测对象的维度信息统一的多维修正数据；对所述多维修正数据中的数据进行归一化处理，得到待检测对象数据。3.根据权利要求2所述的方法，其特征在于，将修改后的所述初始待检测对象数据进行数据标准化处理，得到各待检测对象的维度信息统一的多维修正数据包括：提取所述待检测对象数据中的各维度信息，得到包括全部所述维度信息的数据表；将所述待检测对象数据中各待检测对象的数据对应添加到所述数据表中，得到各待检测对象的维度信息统一的多维修正数据。4.根据权利要求1所述的方法，其特征在于，所述将所述多种目标异常检测模型以降低泛化误差为约束进行模型融合，得到综合检测模型包括：将所述多种目标异常检测模型作为...

【专利技术属性】
技术研发人员：张建辉，盛捷来，
申请(专利权)人：北京京东振世信息技术有限公司，
类型：发明
国别省市：