一种运维数据异常检测方法技术

本发明专利技术公开了一种运维数据异常检测方法

【技术实现步骤摘要】
一种运维数据异常检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种运维数据异常检测方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着互联网的软硬件呈现爆发性的增长，新的架构层出不穷，运维人员需要做到全天职守来保证系统的可靠性和稳定性
。
[0003]专利技术人在实现本专利技术的过程中，发现现有技术存在如下缺陷：在实际的运维场景中，可以凭借运维人员的经验提炼总结出很多规则，生成人工经验库
。
这种基于人为规则的运维方式，虽然可以一定程度缓解压力，但是要想真正得心应手的去解决爆炸式增长的运维问题，显得有些力不从心
。
[0004]另外的，通过智能运维的方式来对运维数据进行处理，智能运维包括统计学算法
、
深度学习算法以及深度学习算法等等，但是存在普适性相对较差
、
处理速度太慢
、
以及人力物力成本较高等缺陷
。

技术实现思路

[0005]本专利技术提供了一种运维数据异常检测方法
、
装置
、
电子设备及存储介质，以实现节约时间成本和人工成本，提高了运维数据自动处理的灵活性和准确率
。
[0006]根据本专利技术的一方面，提供了一种运维数据异常检测方法，其中，包括：
[0007]实时获取待异常检测的运维数据，并对所述运维数据进行数据预处理，得到标准运维数据；
[0008]根据所述标准运维数据，执行确定出运维数据分布类型的操作；
[0009]如果成功确定出所述标准运维数据的分布类型，则获取与所述分布类型匹配的目标异常检测模型，并将所述标准运维数据输入至所述目标异常检测模型中，得到运维数据异常检测结果；
[0010]如果所述运维数据异常检测结果为正常或者设定异常类型，则将所述运维数据异常检测结果进行反馈，以及将所述标准运维数据和所述运维数据异常检测结果联合存储于运维数据存储库中
。
[0011]根据本专利技术的另一方面，提供了一种运维数据异常检测装置，其中，包括：
[0012]标准运维数据确定模块，用于实时获取待异常检测的运维数据，并对所述运维数据进行数据预处理，得到标准运维数据；
[0013]运维数据分布类型确定模块，用于根据所述标准运维数据，执行确定出运维数据分布类型的操作；
[0014]运维数据异常检测结果确定模块，用于如果成功确定出所述标准运维数据的分布类型，则获取与所述分布类型匹配的目标异常检测模型，并将所述标准运维数据输入至所述目标异常检测模型中，得到运维数据异常检测结果；
[0015]运维数据异常检测结果反馈模块，用于如果所述运维数据异常检测结果为正常或者设定异常类型，则将所述运维数据异常检测结果进行反馈，以及将所述标准运维数据和所述运维数据异常检测结果联合存储于运维数据存储库中
。
[0016]根据本专利技术的另一方面，提供了一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本专利技术任一实施例所述的运维数据异常检测方法
。
[0017]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的运维数据异常检测方法
。
[0018]本专利技术实施例的技术方案，通过实时获取待异常检测的运维数据，并对运维数据进行数据预处理，得到标准运维数据；根据标准运维数据，执行确定出运维数据分布类型的操作；如果成功确定出标准运维数据的分布类型，则获取与所述分布类型匹配的目标异常检测模型，并将标准运维数据输入至目标异常检测模型中，得到运维数据异常检测结果；如果运维数据异常检测结果为正常或者设定异常类型，则将运维数据异常检测结果进行反馈，以及将标准运维数据和运维数据异常检测结果联合存储于运维数据存储库中
。
解决了对于运维数据需要人工处理而造成的耗时长
、
人力成本较高以及准确率低的问题，实现了节约时间成本和人工成本，提高了运维数据自动处理的灵活性和准确率
。
[0019]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围
。
本专利技术的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0020]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0021]图1是根据本专利技术实施例一提供的一种运维数据异常检测方法的流程图；
[0022]图2是根据本专利技术实施例二提供的一种运维数据异常检测装置的结构示意图；
[0023]图3是根据本专利技术实施例三提供的一种电子设备的结构示意图
。
具体实施方式
[0024]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围
。
[0025]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“目标”、“当前”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施
。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆
盖不排他的包含，例如，包含了一系列步骤或单元的过程
、
方法
、
系统
、
产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程
、
方法
、
产品或设备固有的其它步骤或单元
。
[0026]实施例一
[0027]图1为本专利技术实施例一提供了一种运维数据异常检测方法的流程图，本实施例可适用于对运维数据进行实时自动化检测的情况，该方法可以由运维数据异常检测装置来执行，该运维数据异常检测装置可以采用硬件和
/
或软件的形式实现
。
[0028]相应的，如图1所示，该方法包括：
[0029]S110、
实时获取待异常检测的运维数据，并对所述运维数据进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种运维数据异常检测方法，其特征在于，包括：实时获取待异常检测的运维数据，并对所述运维数据进行数据预处理，得到标准运维数据；根据所述标准运维数据，执行确定出运维数据分布类型的操作；如果成功确定出所述标准运维数据的分布类型，则获取与所述分布类型匹配的目标异常检测模型，并将所述标准运维数据输入至所述目标异常检测模型中，得到运维数据异常检测结果；如果所述运维数据异常检测结果为正常或者设定异常类型，则将所述运维数据异常检测结果进行反馈，以及将所述标准运维数据和所述运维数据异常检测结果联合存储于运维数据存储库中
。2.
根据权利要求1所述的方法，其特征在于，在所述将所述标准运维数据输入至所述目标异常检测模型中，得到运维数据异常检测结果之后，还包括：如果所述运维数据异常检测结果为失败，则得到运维数据识别失败检测结果，并获取所述运维数据识别失败检测结果对应的所述识别失败标准运维数据；将所述识别失败标准运维数据进行反馈，并且当接收到识别失败标注标准运维数据对应的数据标注结果时，将所述识别失败标注标准运维数据和所述数据标注结果联合存储于运维数据存储库中，或者将所述识别失败标注标准运维数据和所述数据标注结果发送于目标异常检测模型中来进行模型的再训练
。3.
根据权利要求1所述的方法，其特征在于，在实时获取待异常检测的运维数据，并对所述运维数据进行数据预处理，得到标准运维数据之前，还包括：实时获取待异常检测的运维数据流，并通过预先设置的
Spark Streaming
框架流式计算方法进行数据流的处理，得到各所述待异常检测的运维数据
。4.
根据权利要求1所述的方法，其特征在于，所述将所述标准运维数据输入至所述目标异常检测模型中，得到运维数据异常检测结果，包括：将所述标准运维数据输入至所述目标异常检测模型中，得到运维数据异常概率值；将所述运维数据异常概率值与预设的目标可调异常概率值阈值范围进行比较，并且如果满足所述目标可调异常概率值阈值范围，则得到所述运维数据异常检测结果
。5.
根据权利要求1所述的方法，其特征在于，在所述根据所述标准运维数据，执行确定出运维数据分布类型的操作之后，还包括：如果未成功确定出所述标准运维数据的分布类型，则将所述标准运维数据确定为分布类型未明确标准运维数据；将所述分布类型未明确标准运维数据进行反馈于用户，以实现对所述分布类型未明确标准运维数据进行标注；获取分布类型未明确标准运维数据标准结果，并根据所述分布类型未明确标准运...

【专利技术属性】
技术研发人员：程捷，
申请(专利权)人：北京博睿宏远数据科技股份有限公司，
类型：发明
国别省市：