异常数据检测方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种异常数据检测方法、装置、设备及存储介质。该异常数据检测方法通过根据参考时序数据的分布特征来预测待测时序数据的周期性、趋势性，进而确定每个待测数据对应的基于预测数据的第一偏离度，对于具有一定周期性和趋势性的待测时序数据更加友好，提高了异常数据检测结果的准确性。另外，本申请实施例还同时考虑了数据的全局分布和局部分布，进而根据基于全局分布的第二偏离度和基于局部分布的第三偏离度来检测异常数据，从而进一步提高了异常数据检测结果的准确性。一步提高了异常数据检测结果的准确性。一步提高了异常数据检测结果的准确性。

【技术实现步骤摘要】
异常数据检测方法、装置、设备及存储介质


[0001]本申请属于异常检测技术，尤其涉及一种异常数据检测方法、装置、设备及存储介质。

技术介绍

[0002]通常，为了便于维护电子设备运行的稳定性，开发人员需要在电子设备运行过程中，对电子设备的多个性能进行异常数据检测，以及时发现电子设备的性能异常数据点。
[0003]目前，业界主要通过3
‑
sigma算法来检测异常数据，而3
‑
sigma算法是非时序异常检测算法，且使用3
‑
sigma算法的前提是假设所有数据均呈正态分布。这样，由于非时序异常检测算法对周期性数据和趋势性数据并不友好，且电子设备中不同性能对应的待测数据未必都符合正态分布的规律，因此，导致异常数据的检测结果并不准确。

技术实现思路

[0004]本申请实施例提供一种异常数据检测方法、装置、设备及存储介质，能够提高异常数据检测结果的准确性。
[0005]第一方面，本申请实施例提供一种异常数据检测方法，该方法包括：
[0006]获取参考时序数据和待测时序数据；
[0007]根据参考时序数据的分布特征，确定待测时序数据中每个待测数据对应的偏离度，其中，偏离度包括基于预测数据的第一偏离度、基于全局分布的第二偏离度以及基于局部分布的第三偏离度；
[0008]根据待测时序数据中每个待测数据对应的偏离度，确定待测时序数据中的异常数据。
[0009]第二方面，本申请实施例提供一种异常数据检测方法，该方法包括：<br/>[0010]获取虚拟机迁移之前第一时间段内目标性能的性能数据，作为参考时序数据；
[0011]在虚拟机开始迁移的情况下，获取第二时间段内目标性能的性能数据，作为待测时序数据，其中，第二时间段为虚拟机开始迁移时的起始时间点至迁移完成之后的预设时间点之间的任一时间段；
[0012]根据参考时序数据的分布特征，确定待测时序数据中每个待测性能数据对应的偏离度，其中，偏离度包括基于预测性能数据的第一偏离度、基于全局分布的第二偏离度以及基于局部分布的第三偏离度；
[0013]根据待测时序数据中每个待测性能数据对应的偏离度，确定待测时序数据中是否存在异常性能数据；
[0014]在确定存在异常性能数据的情况下，将异常性能数据发送至前端设备，以使前端设备显示异常性能数据，并针对异常性能数据进行非正常抖动告警。
[0015]第三方面，本申请实施例提供了一种异常数据检测装置，该装置包括：
[0016]数据获取模块，用于获取参考时序数据和待测时序数据；
[0017]第一确定模块，用于根据参考时序数据的分布特征，确定待测时序数据中每个待测数据对应的偏离度，其中，偏离度包括基于预测数据的第一偏离度、基于全局分布的第二偏离度以及基于局部分布的第三偏离度；
[0018]异常定位模块，用于根据待测时序数据中每个待测数据对应的偏离度，确定待测时序数据中的异常数据。
[0019]第四方面，本申请实施例提供了一种异常数据检测装置，该装置包括：
[0020]第一获取模块，用于获取虚拟机迁移之前第一时间段内目标性能的性能数据，作为参考时序数据；
[0021]第二获取模块，用于在虚拟机开始迁移的情况下，获取第二时间段内目标性能的性能数据，作为待测时序数据，其中，第二时间段为虚拟机开始迁移时的起始时间点至迁移完成之后的预设时间点之间的任一时间段；
[0022]第二确定模块，用于根据参考时序数据的分布特征，确定待测时序数据中每个待测性能数据对应的偏离度，其中，偏离度包括基于预测性能数据的第一偏离度、基于全局分布的第二偏离度以及基于局部分布的第三偏离度；
[0023]数据确定模块，用于根据待测时序数据中每个待测性能数据对应的偏离度，确定待测时序数据中是否存在异常性能数据；
[0024]数据发送模块，用于在确定存在异常性能数据的情况下，将异常性能数据发送至前端设备，以使前端设备显示异常性能数据，并针对异常性能数据进行非正常抖动告警。
[0025]第五方面，本申请实施例提供了一种计算机设备，该计算机设备包括：存储器和处理器；
[0026]所述存储器，用于存储计算机程序；
[0027]所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时使得所述处理器执行如第一方面或第二方面的任意一项实施例中所述的异常数据检测方法的步骤。
[0028]第六方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储程序或指令，在所述程序或指令被计算机设备执行的情况下，使得所述计算机设备执行如第一方面或第二方面的任一项实施例中所述的异常数据检测方法的步骤。
[0029]第七方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，在计算机程序被计算机设备执行的情况下，使得计算机设备执行如第一方面或第二方面的任一项实施例中所述的异常数据检测方法的步骤。
[0030]本申请实施例中的异常数据检测方法、装置、设备及存储介质，通过根据参考时序数据的分布特征来预测待测时序数据的周期性、趋势性，进而确定每个待测数据对应的基于预测数据的第一偏离度，对于具有一定周期性和趋势性的待测时序数据更加友好，提高了异常数据检测结果的准确性。另外，本申请实施例还同时考虑了数据的全局分布和局部分布，进而根据基于全局分布的第二偏离度和基于局部分布的第三偏离度来检测异常数据，从而进一步提高了异常数据检测结果的准确性。
附图说明
[0031]从下面结合附图对本申请的具体实施方式的描述中可以更好地理解本申请其中，
相同或相似的附图标记表示相同或相似的特征。
[0032]图1是本申请提供的异常数据检测方法所适用的一种架构图；
[0033]图2是本申请一个实施例提供的异常数据检测方法的流程示意图；
[0034]图3是本申请提供的幅值确定方法的一种流程示意图；
[0035]图4是本申请提供的柯西
‑
洛伦兹分布的一种分布示意图；
[0036]图5是本申请提供的基于局部分布的异常数据确定方法的一种流程示意图；
[0037]图6是本申请另一个实施例提供的异常数据检测方法的流程示意图；
[0038]图7是本申请一个实施例提供的异常数据检测装置的结构示意图；
[0039]图8是本申请另一个实施例提供的异常数据检测装置的结构示意图；
[0040]图9是本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
[0041]下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常数据检测方法，包括：获取参考时序数据和待测时序数据；根据所述参考时序数据的分布特征，确定所述待测时序数据中每个待测数据对应的偏离度，其中，所述偏离度包括基于预测数据的第一偏离度、基于全局分布的第二偏离度以及基于局部分布的第三偏离度；根据所述待测时序数据中每个待测数据对应的偏离度，确定所述待测时序数据中的异常数据。2.根据权利要求1所述的方法，其中，所述根据所述参考时序数据的分布特征，确定所述待测时序数据中每个待测数据对应的偏离度，包括：根据所述参考时序数据的分布特征，确定所述待测时序数据中每个待测数据对应的预测值；将所述待测数据的数据值与对应的预测值之间的差值，确定为所述待测数据对应的第一偏离度，得到所述待测时序数据中每个待测数据对应的第一偏离度。3.根据权利要求1所述的方法，其中，所述根据所述参考时序数据的分布特征，确定所述待测时序数据中每个待测数据对应的偏离度，包括：根据所述参考时序数据拟合得到目标分布；基于所述目标分布确定所述待测时序数据中每个待测数据对应的第二偏离度。4.根据权利要求3所述的方法，其中，所述目标分布为柯西
‑
洛伦兹分布；所述根据所述参考时序数据拟合得到目标分布，包括：获取所述参考时序数据对应的第一中位数，以及所述参考时序数据中每个参考数据对应的第四偏离度，其中，所述第四偏离度包括所述参考数据的数据值与所述第一中位数之间的差值；根据每个参考数据对应的第四偏离度，确定所述第四偏离度对应的第二中位数；以所述第一中位数为分布峰值位置的位置参数，以所述第二中位数为尺度参数，拟合得到所述目标分布。5.根据权利要求1所述的方法，其中，所述根据所述参考时序数据的分布特征，确定所述待测时序数据中每个待测数据对应的偏离度，包括：针对所述待测时序数据中每个待测数据，确定所述待测数据对应周围预设范围内的待测数据平均值；将所述待测数据对应的数据值与所述待测数据平均值之间的差值，确定为所述待测数据对应的第三偏离度，得到所述待测时序数据中每个待测数据对应的第三偏离度。6.根据权利要求1所述的方法，其中，所述根据所述待测时序数据中每个待测数据对应的偏离度，确定所述待测时序数据中的异常数据，包括：根据所述待测时序数据中每个待测数据对应的所述第一偏离度，确定所述待测时序数据中的第一异常数据；根据所述待测时序数据中每个待测数据对应的所述第二偏离度，确定所述待测时序数据中的第二异常数据；根据所述待测时序数据中每个待测数据对应的所述第三偏离度，确定所述待测时序数据中的第三异常数据；
将所述待测时序数据中同时属于所述第一异常数据、所述第二异常数据和所述第三异常数据的待测数据，确定为所述异常数据。7.根据权利要求6所述的方法，其中，所述根据所述待测时序数据中每个待测数据对应的所述第一偏离度，确定所述待测时序数据中的第一异常数据，包括：获取所述参考时序数据对应的数据幅值和数据抖动幅度；将所述待测时序数据中第一偏离度大...

【专利技术属性】
技术研发人员：孙婉宁，马旭华，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：