数据异常检测方法技术

本发明专利技术公开了一种数据异常检测方法

【技术实现步骤摘要】
数据异常检测方法、装置、存储介质及计算机设备


[0001]本专利技术涉及信息
，尤其是涉及一种数据异常检测方法
、
装置
、
存储介质及计算机设备
。

技术介绍

[0002]异常检测是数据挖掘和统计分析领域研究的一种重要问题，其目标是从原始数据中检测出与其他数据明显不同的那些数据点，异常检测在许多应用领域都有着广泛的应用，如金融欺诈检测
、
医学诊断
、
网络入侵检测等
。
[0003]目前，通常通过统一的检测方法对所有数据进行检测
。
然而，这种所有数据公用同一种检测方法的方式，由于该种检测方法不一定适用于所有数据，导致对部分数据的异常检测准确度较低
。

技术实现思路

[0004]本专利技术提供了一种数据异常检测方法
、
装置
、
存储介质及计算机设备，主要在于能够提高数据的异常检测准确度
。
[0005]根据本专利技术的第一个方面，提供一种数据异常检测方法，包括：
[0006]获取待检测数据源中的数据；
[0007]对所述待检测数据源中的数据进行分类，得到所述待检测数据源中的数据所属的目标聚类类别；
[0008]确定所述目标聚类类别对应的异常检测方式；
[0009]利用所述异常检测方式对所述待检测数据源中的数据进行异常检测，得到所述待检测数据源中的异常数据
。
[0010]可选地，所述对所述待检测数据源中的数据进行分类，得到所述待检测数据源中的数据所属的目标聚类类别，包括：
[0011]确定所述待检测数据源中的数据对应的分类特征向量，以及确定不同聚类类别下的参考数据对应的参考特征向量；
[0012]依据所述分类特征向量和所述参考特征向量，分别计算所述待检测数据源中的数据与所述不同聚类类别下的参考数据之间的相似距离；
[0013]基于所述相似距离，确定所述待检测数据源中的数据所属的目标聚类类别
。
[0014]可选地，在所述确定不同聚类类别下的参考数据对应的参考特征向量之前，所述方法还包括：
[0015]确定
k
个团簇对应的初始质心；
[0016]计算参考数据与所述
k
个团簇对应的初始质心之间的距离，并基于所述距离，将所述参考数据划分到所述
k
个团簇中；
[0017]基于所述
k
个团簇中的参考数据，确定所述
k
个团簇对应的更新后的质心；
[0018]基于所述更新后的质心，重新将所述参考数据划分到所述
k
个团簇中，直至所述更
新后的质心不发生变化，将最终划分到所述
k
个团簇中的参考数据，确定为所述不同聚类类别下的参考数据
。
[0019]可选地，所述利用所述异常检测方式对所述待检测数据源中的数据进行异常检测，得到所述待检测数据源中的异常数据，包括：
[0020]若所述待检测数据源中的数据属于资产聚类类别，则确定所述资产聚类类别对应的预设箱须图检测算法；
[0021]利用所述预设箱须图检测算法对所述待检测数据源中的资产数据进行异常检测，得到所述资产数据中的异常数据；
[0022]若所述待检测数据源中的数据属于日志聚类类别，则确定所述日志聚类类别对应的预设异常检测模型；
[0023]利用所述预设异常检测模型对所述待检测数据源中的日志数据进行异常检测，得到所述日志数据中的异常数据
。
[0024]可选地，所述利用所述预设箱须图检测算法对所述待检测数据源中的资产数据进行异常检测，得到所述资产数据中的异常数据，包括：
[0025]确定所述资产数据对应的中位数据值据值；
[0026]基于所述资产数据中的最小数据值与所述中位数据值据值，确定所述资产数据对应的下四分位数；
[0027]基于所述资产数据中的最大数据值与所述中位数据值据值，确定所述资产数据对应的上四分位数；
[0028]计算所述下四分位数与所述上四分位数之间的距离，得到所述资产数据对应的四分位间距；
[0029]依据所述下四分位数和所述四分位间距，计算所述资产数据对应的异常检测下限值；
[0030]根据所述上四分位数和所述四分位间距，计算所述资产数据对应的异常检测上限值；
[0031]在所述资产数据中，将所述异常检测下限值至所述异常检测上限值范围之外的数据确定为所述资产数据中的异常数据
。
[0032]可选地，在所述利用所述预设异常检测模型对所述待检测数据源中的日志数据进行异常检测，得到所述日志数据中的异常数据之前，所述方法还包括：
[0033]构建预设初始异常检测模型，并获取样本数据，以及所述样本数据中的实际异常数据；
[0034]将所述样本数据输入至所述预设初始异常检测模型中进行异常数据检测，得到所述样本数据中的预测异常数据；
[0035]基于所述实际异常数据和所述预测异常数据，构建所述预设初始异常检测模型对应的损失函数；
[0036]基于所述损失函数，构建所述预设异常检测模型；
[0037]所述利用所述预设异常检测模型对所述待检测数据源中的日志数据进行异常检测，得到所述日志数据中的异常数据，包括：
[0038]获取异常检测类型；
[0039]确定与所述异常检测类型相对应的检测提示词；
[0040]将所述待检测数据源中的日志数据和所述检测提示词输入至所述预设异常检测模型中进行异常数据检测，得到所述日志数据中的异常数据
。
[0041]可选地，在所述利用所述异常检测方式对所述待检测数据源中的数据进行异常检测，得到所述待检测数据源中的异常数据之后，所述方法还包括：
[0042]确定所述目标聚类类别对应的异常告警模板；
[0043]基于所述异常告警模板，获取所述异常数据对应的各项异常信息；
[0044]基于所述各项异常信息，生成所述异常数据对应的告警提示单，并将所述告警提示单发送至运维人员终端，以便所述运维人员终端的运维人员针对所述告警提示单对所述异常数据进行修正
。
[0045]根据本专利技术的第二个方面，提供一种数据异常检测装置，包括：
[0046]获取单元，用于获取待检测数据源；
[0047]分类单元，用于对所述待检测数据源中的数据进行分类，得到所述待检测数据源中的数据所属的目标聚类类别；
[0048]确定单元，用于确定所述目标聚类类别对应的异常检测方式；
[0049]异常检测单元，用于利用所述异常检测方式对所述待检测数据源中的数据进行异常检测，得到所述待检测数据源中的异常数据
。
[0050]根据本专利技术的第三个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据异常检测方法，其特征在于，包括：获取待检测数据源中的数据；对所述待检测数据源中的数据进行分类，得到所述待检测数据源中的数据所属的目标聚类类别；确定所述目标聚类类别对应的异常检测方式；利用所述异常检测方式对所述待检测数据源中的数据进行异常检测，得到所述待检测数据源中的异常数据
。2.
根据权利要求1所述的方法，其特征在于，所述对所述待检测数据源中的数据进行分类，得到所述待检测数据源中的数据所属的目标聚类类别，包括：确定所述待检测数据源中的数据对应的分类特征向量，以及确定不同聚类类别下的参考数据对应的参考特征向量；依据所述分类特征向量和所述参考特征向量，分别计算所述待检测数据源中的数据与所述不同聚类类别下的参考数据之间的相似距离；基于所述相似距离，确定所述待检测数据源中的数据所属的目标聚类类别
。3.
根据权利要求2所述的方法，其特征在于，在所述确定不同聚类类别下的参考数据对应的参考特征向量之前，所述方法还包括：确定
k
个团簇对应的初始质心；计算参考数据与所述
k
个团簇对应的初始质心之间的距离，并基于所述距离，将所述参考数据划分到所述
k
个团簇中；基于所述
k
个团簇中的参考数据，确定所述
k
个团簇对应的更新后的质心；基于所述更新后的质心，重新将所述参考数据划分到所述
k
个团簇中，直至所述更新后的质心不发生变化，将最终划分到所述
k
个团簇中的参考数据，确定为所述不同聚类类别下的参考数据
。4.
根据权利要求1所述的方法，其特征在于，所述利用所述异常检测方式对所述待检测数据源中的数据进行异常检测，得到所述待检测数据源中的异常数据，包括：若所述待检测数据源中的数据属于资产聚类类别，则确定所述资产聚类类别对应的预设箱须图检测算法；利用所述预设箱须图检测算法对所述待检测数据源中的资产数据进行异常检测，得到所述资产数据中的异常数据；若所述待检测数据源中的数据属于日志聚类类别，则确定所述日志聚类类别对应的预设异常检测模型；利用所述预设异常检测模型对所述待检测数据源中的日志数据进行异常检测，得到所述日志数据中的异常数据
。5.
根据权利要求4所述的方法，其特征在于，所述利用所述预设箱须图检测算法对所述待检测数据源中的资产数据进行异常检测，得到所述资产数据中的异常数据，包括：确定所述资产数据对应的中位数据值据值；基于所述资产数据中的最小数据值与所述中位数据值据值，确定所述资产数据对应的下四分位数；基于所述资产数据中的最大数据值与所述中位数据值据值，确定所述资产数据对应的

【专利技术属性】
技术研发人员：张天力，
申请(专利权)人：康键信息技术深圳有限公司，
类型：发明
国别省市：