一种运维数据异常检测装置、方法及存储介质制造方法及图纸

本发明专利技术公开了一种运维数据异常检测装置、方法及存储介质，通过获取模块获取运维数据，检测模块与获取模块连接用于接收获取模块的运维数据，根据运维数据的类型通过异常检测算法对运维数据进行异常检测处理，得到异常检测结果，以及根据运维数据的类型对运维数据进行预测处理，得到预测结果；使得包括指标、日志以及调用链的运维数据可以统一接入到检测模块中，统一了接口调用和运维数据的输入方式，统一通过检测模块进行异常检测处理以及预测处理，不需要额外进行整合，且统一了结果的输出方式，有利于提高便捷性；另外，异常检测算法利用无监督学习以及集成学习投票，有利于避免打标签的繁琐工作以及根据不同具体业务进行复用，提高了适用性。提高了适用性。提高了适用性。

【技术实现步骤摘要】
一种运维数据异常检测装置、方法及存储介质


[0001]本专利技术涉及检测
，特别是涉及一种运维数据异常检测装置、方法及存储介质。

技术介绍

[0002]目前在运维可观测领域，运维数据中通常具有不同类型的数据，基于这些运维数据去做的智能算法应用，目前都是零散和独立的，由于某些类型的数据与其他类型的数据需要进行不同的数据处理，例如利用不同的算法进行数据处理，或者一个类型的数据同时需要进行多种数据处理，需要将不同类型的数据入口到不同的智能算法应用以及将一个类型的数据入口到不同的智能算法应用，并且不同的智能算法应用输入的结果也需要重新进行整合才能了解运维数据的整体检测结果，非常繁琐。另外，现今的检测算法都是基于有监督学习或深度学习算法，打标签的工作量繁重，异常的判断又需要结合具体业务，因此难以统一标准，现今的检测算法难以复用，适用性差。

技术实现思路

[0003]基于此，本专利技术的目的在于解决上述问题中的至少之一，提供一种运维数据异常检测装置、方法及存储介质，提高便捷性以及适用性。
[0004]本专利技术实施例提供一种运维数据异常检测装置，包括：获取模块，用于获取运维数据；所述运维数据的类型包括指标、日志以及调用链；检测模块，与所述获取模块连接，用于接收所述获取模块的所述运维数据，根据所述运维数据的类型，通过异常检测算法对所述运维数据进行异常检测处理，得到异常检测结果，以及根据所述运维数据的类型，对所述运维数据进行预测处理，得到预测结果；其中，所述异常检测算法利用无监督学习以及集成学习投票。<br/>[0005]本专利技术实施例还提供了一种运维数据异常检测方法，包括：通过获取模块获取运维数据；所述运维数据的类型包括指标、日志以及调用链；通过检测模块接收所述获取模块的所述运维数据，根据所述运维数据的类型，通过异常检测算法对所述运维数据进行异常检测处理，得到异常检测结果，以及根据所述运维数据的类型，对所述运维数据进行预测处理，得到预测结果；其中，所述异常检测算法利用无监督学习以及集成学习投票。
[0006]进一步，所述根据所述运维数据的类型对所述运维数据进行预测处理，得到预测结果，包括：确定所述运维数据的类型为所述指标，对所述指标进行预测可行性评估；当预测可行性评估结果表征通过，从预测算法集合中确定目标预测算法，并根据所述目标预测算法以及所述指标，确定预测结果；其中，所述预测算法集合中包括prophet、holt
‑
winters、SARIMA以及回归类算法中的至少一种。
[0007]进一步，所述对所述指标进行预测可行性评估，包括：对所述指标进行平稳性校验；当平稳性校验结果表征平稳性数据，通过傅里叶算法对所述指标进行周期性处理，得到周期值；当所述周期值满足预设周期性，所述预测可行性评估结果表征通过；其中，当所述平稳性校验结果表征非平稳数据或所述周期值不满足预设周期性，所述预测可行性评估结果表征不通过。
[0008]进一步，所述根据所述运维数据的类型，通过异常检测算法对所述运维数据进行异常检测处理，得到异常检测结果，包括：确定所述运维数据的类型为所述调用链，根据所述调用链的入口服务以及接口进行统计处理，得到所述调用链的链路图；对所述调用链的链路图进行社区划分处理，得到若干个社区的子图；通过预设权重算法计算所述若干个社区的子图对应的子图权重，并对所述子图权重进行排序，得到第一检测结果；异常检测结果包括所述第一检测结果。
[0009]进一步，所述根据所述运维数据的类型，通过异常检测算法对所述运维数据进行异常检测处理，得到异常检测结果，包括：确定所述运维数据的类型为所述日志，对所述日志进行模板提取处理，得到目标模板；根据所述目标模板确定第二检测结果；其中，异常检测结果包括第二检测结果，所述根据所述目标模板确定第二检测结果包括以下步骤的至少之一：对所述目标模板与预设模板进行比较，当所述目标模板为新模板，得到表征异常的第二检测结果；对所述目标模板单位时间内的数量指标进行检测，当所述数量指标与指标阈值的差距大于第一差距阈值，得到表征异常的第二检测结果；对所述目标模板进行过滤处理，当过滤处理后的目标模板的数量与预设数量的的差距大于第二差距阈值，得到表征异常的第二检测结果；提取所述目标模板的参数量，当所述参数量为离散型数据，计算所述参数量的状态占比，当所述状态占比与历史占比的差距大于第三差距阈值，得到表征异常的第二检测结果，或者，当所述参数量为连续型数据，当所述参数量位于历史变化范围外，得到表征异常的第二检测结果。
[0010]进一步，所述对所述日志进行模板提取处理，得到目标模板，包括：提取所述日志的日志消息，自动生成用于拆分所述日志消息的若干不同的候选分隔符；将出现次数大于预设次数阈值的候选分隔符作为最终分隔符，生成至少一候选模板；计算每一所述候选模板的杰卡德相似度，并将杰卡德相似度大于预设相似度阈值的候选模板进行合并，得到目标模板。
[0011]进一步，所述根据所述运维数据的类型，通过异常检测算法对所述运维数据进行异常检测处理，得到异常检测结果，包括：
确定所述运维数据的类型为所述指标，对所述指标进行分类处理，得到不同的分类指标；将满足正态分布形式的分类指标通过无监督学习的第一算法进行第一处理，得到第一处理结果；将满足多集中值形式的分类指标通过无监督学习的第二算法进行第二处理，得到第二处理结果；将满足缓慢变化形式的分类指标通过无监督学习的第三算法进行第三处理，得到第三处理结果；将均不满足正态分布形式、多集中值形式、缓慢变化形式的分类指标通过无监督学习的第四算法进行第四处理，得到第四处理结果；将不同的分类指标通过无监督学习的通用算法进行处理，得到第五处理结果；对所述第一处理结果、所述第二处理结果、所述第三处理结果、所述第四处理结果以及所述第五处理结果进行集成学习投票，得到第三检测结果；异常检测结果包括第三检测结果。
[0012]本专利技术实施例还提供一种运维数据异常检测装置，所述运维数据异常检测装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现所述方法。
[0013]本专利技术实施例还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现所述方法。
[0014]本专利技术的有益效果是：通过获取模块获取运维数据，检测模块与所述获取模块连接，用于接收所述获取模块的所述运维数据，根据所述运维数据的类型，通过异常检测算法对所述运维数据进行异常检测处理，得到异常检测结果，以及根据所述运维数据的类型，对所述运维数据进行预测处理，得到预测结果；使得包括指标、日志以及调用链的运维数据都可以统一接入到检测模块中，统一了接口调用和运维数据的输入方式，统一通过检测模块进行异常检测处理以及预测处理，不需要额外进行整合，并且统一了预测结果以及异常检测结果的输出方式，有利于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运维数据异常检测装置，其特征在于，包括：获取模块，用于获取运维数据；所述运维数据的类型包括指标、日志以及调用链；检测模块，与所述获取模块连接，用于接收所述获取模块的所述运维数据，根据所述运维数据的类型，通过异常检测算法对所述运维数据进行异常检测处理，得到异常检测结果，以及根据所述运维数据的类型，对所述运维数据进行预测处理，得到预测结果；其中，所述异常检测算法利用无监督学习以及集成学习投票。2.一种运维数据异常检测方法，其特征在于，包括：通过获取模块获取运维数据；所述运维数据的类型包括指标、日志以及调用链；通过检测模块接收所述获取模块的所述运维数据，根据所述运维数据的类型，通过异常检测算法对所述运维数据进行异常检测处理，得到异常检测结果，以及根据所述运维数据的类型，对所述运维数据进行预测处理，得到预测结果；其中，所述异常检测算法利用无监督学习以及集成学习投票。3.根据权利要求2所述运维数据异常检测方法，其特征在于：所述根据所述运维数据的类型对所述运维数据进行预测处理，得到预测结果，包括：确定所述运维数据的类型为所述指标，对所述指标进行预测可行性评估；当预测可行性评估结果表征通过，从预测算法集合中确定目标预测算法，并根据所述目标预测算法以及所述指标，确定预测结果；其中，所述预测算法集合中包括prophet、holt
‑
winters、SARIMA以及回归类算法中的至少一种。4.根据权利要求3所述运维数据异常检测方法，其特征在于：所述对所述指标进行预测可行性评估，包括：对所述指标进行平稳性校验；当平稳性校验结果表征平稳性数据，通过傅里叶算法对所述指标进行周期性处理，得到周期值；当所述周期值满足预设周期性，所述预测可行性评估结果表征通过；其中，当所述平稳性校验结果表征非平稳数据或所述周期值不满足预设周期性，所述预测可行性评估结果表征不通过。5.根据权利要求2
‑
4任一项所述运维数据异常检测方法，其特征在于：所述根据所述运维数据的类型，通过异常检测算法对所述运维数据进行异常检测处理，得到异常检测结果，包括：确定所述运维数据的类型为所述调用链，根据所述调用链的入口服务以及接口进行统计处理，得到所述调用链的链路图；对所述调用链的链路图进行社区划分处理，得到若干个社区的子图；通过预设权重算法计算所述若干个社区的子图对应的子图权重，并对所述子图权重进行排序，得到第一检测结果；异常检测结果包括所述第一检测结果。6.根据权利要求2
‑
4任一项所述运维数据异常检测方法，其特征在于：所述根据所述运维数据的类型，通过异常检测算法对所述运维数据进行异常检测处理，得到异常检测结果，包括：确定所述运维数据的类型为所述日志，对所述日志进行模板提取处理，得到目标模板；
根据所述目标模板确定第二检测结果；其中，异常检测结果包括第二检...

【专利技术属性】
技术研发人员：王贝宁，孟汉，赖晓锋，
申请(专利权)人：广州嘉为科技有限公司，
类型：发明
国别省市：