基于人工智能的异常值检测方法、装置、电子设备及介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一种基于人工智能的异常值检测方法、装置、电子设备及介质，所述方法包括：采集第一时间序列数据；对第一时间序列数据进行预处理，得到第二时间序列数据；按照预设的第一步长对第二时间序列数据进行切割，得到多个第三时间序列数据，并形成第一时间序列数据集，对第一时间序列数据集进行至少一次迭代异常值检测，直至完成第一时间序列数据集中的多个第三时间序列数据的异常值检测，得到异常值检测结果。本发明专利技术通过对所述第一时间序列数据进行预处理，避免后续进行时间序列异常值检测过程中出现数据缺失或者数据错位导致检测效率缓慢的现象，提高了时间序列异常值检测效率及准确率。时间序列异常值检测效率及准确率。时间序列异常值检测效率及准确率。

【技术实现步骤摘要】
基于人工智能的异常值检测方法、装置、电子设备及介质


[0001]本专利技术涉及人工智能
，具体涉及一种基于人工智能的异常值检测方法、装置、电子设备及介质。

技术介绍

[0002]时间序列一般是指将同一统计指标的数值按发生的时间先后顺序排列而成的数列，运动健康、生态环境等领域都有很多源于物联网或者传感器的时间序列数据，需要对时间序列数据中的异常值进行检测，现有技术通过按照预设的规则，按照时间先后顺序逐一进行筛选分析。
[0003]然而，随着数据源越来越大，按照时间先后顺序逐一进行筛选分析，难以快速检测和定位异常值，导致异常值检测效率低下。
[0004]因此，有必要提出一种可以快速准确的检测时间序列异常值的方法。

技术实现思路

[0005]鉴于以上内容，有必要提出一种基于人工智能的异常值检测方法、装置、电子设备及介质，通过对所述第一时间序列数据进行预处理，避免后续进行时间序列异常值检测过程中出现数据缺失或者数据错位导致检测效率缓慢的现象，提高了时间序列异常值检测效率及准确率。
[0006]本专利技术的第一方面提供一种基于人工智能的异常值检测方法，所述方法包括：
[0007]解析接收的异常值检测请求，采集第一时间序列数据；
[0008]对所述第一时间序列数据进行预处理，得到第二时间序列数据；
[0009]按照预设的第一步长对所述第二时间序列数据进行切割，得到多个第三时间序列数据，并将所述多个第三时间序列数据按照时间先后顺序进行排序，形成第一时间序列数据集，对所述第一时间序列数据集进行至少一次迭代异常值检测，直至完成所述第一时间序列数据集中的多个第三时间序列数据的异常值检测，得到异常值检测结果，其中，所述至少一次迭代异常值检测包括：
[0010]按照预设的第二步长对所述第一时间序列数据集中的第一个第三时间序列数据进行切割，得到多个第四时间序列数据，并将所述多个第四时间序列数据按照时间先后顺序进行排序，形成第二时间序列数据集；
[0011]从所述第二时间序列数据集的第一个第四时间序列数据开始逐次滑动直至滑动至所述第二时间序列数据集的最后一个第四时间序列数据，并计算每次滑动时相邻两个第四时间序列数据之间的相关系数；
[0012]根据多次滑动对应的多个相关系数确定是否调整所述预设的第二步长；
[0013]当确定调整所述预设的第二步长时，调整所述预设的第二步长得到新步长，及更新所述异常值检测请求中的初始相关系数阈值，根据所述新步长和更新后的初始相关系数阈值对所述第一时间序列数据集中的第二个第三时间序列数据进行下一次迭代异常值检
测；
[0014]当确定不调整所述预设的第二步长，根据所述预设的第二步长和初始相关系数阈值对所述第一时间序列数据集中的第二个第三时间序列数据进行下一次迭代异常值检测。
[0015]可选地，所述对所述第一时间序列数据进行预处理，得到第二时间序列数据包括：
[0016]对所述第一时间序列数据进行转换，得到预设格式的第一时间序列数据；
[0017]对所述预设格式的第一时间序列数据进行对齐处理，得到对齐后的第一时间序列数据；
[0018]根据所述对齐后的第一时间序列数据创建时间序列的索引，根据所述索引判断所述对齐后的第一时间序列数据是否存在缺失；
[0019]当所述对齐后的第一时间序列数据存在缺失时，重新采集第一时间序列数据；或者
[0020]当所述对齐后的第一时间序列数据不存在缺失时，将所述对齐后的第一时间序列数据确定为第二时间序列数据。
[0021]可选地，所述对所述第一时间序列数据进行转换，得到预设格式的第一时间序列数据包括：
[0022]采用预设函数转换所述第一时间序列数据，当在转换过程中侦测到无效数据报错时，根据所述异常值检测请求中的无效数据的处理策略处理所述无效数据，得到预设格式的第一时间序列数据，其中，所述无效数据的处理策略包括忽略无效数据或者按照预设的显示方式显示无效数据。
[0023]可选地，所述计算每次滑动时相邻两个第四时间序列数据之间的相关系数，所述相关系数采用如下公式计算得到：
[0024][0025]其中，X和Y分别表示相邻两个第四时间序列数据，Cov(X,Y)表示X与Y的协方差，Var[X]表示X的方差，Var[Y]表示Y的方差。
[0026]可选地，所述根据多次滑动对应的多个相关系数确定是否调整所述预设的第二步长包括：
[0027]计算所述多个相关系数的均值与所述预设的第二步长之间的商数；
[0028]将所述商数与初始相关系数阈值进行比对；
[0029]当所述商数大于所述初始相关系数阈值时，确定调整所述预设的第二步长；或者
[0030]当所述商数小于或者等于所述初始相关系数阈值时，确定不调整所述预设的第二步长。
[0031]可选地，所述更新所述异常值检测请求中的初始相关系数阈值包括：
[0032]计算所述预设的第二步长和所述多个相关系数的均值之商数，得到第一商值；
[0033]计算所述新步长和所述多个相关系数中的最大相关系数之商数，得到第二商值；
[0034]将所述第一商值和所述第二商值的乘积再乘以所述初始相关系数阈值，得到目标相关系数阈值，并将所述初始相关系数阈值更新为所述目标相关系数阈值。
[0035]可选地，所述直至完成所述第一时间序列数据集中的多个第三时间序列数据的异常值检测，得到异常值检测结果包括：
[0036]统计整个异常值检测过程中的多个相关系数，并选取出最大相关系数；
[0037]计算整个异常值检测过程中多个相关系数阈值的平均值；
[0038]计算所述最大相关系数与所述平均值之间的目标差值，并判断所述目标差值是否满足预设的异常值再次检测要求；
[0039]当所述目标差值不满足所述预设的异常值再次检测要求时，将所述最大相关系数对应的异常时间序列数据确定为异常值检测结果。
[0040]本专利技术的第二方面提供一种基于人工智能的异常值检测装置，所述装置包括：
[0041]解析模块，用于解析接收的异常值检测请求，采集第一时间序列数据；
[0042]预处理模块，用于对所述第一时间序列数据进行预处理，得到第二时间序列数据；
[0043]第一检测模块，用于按照预设的第一步长对所述第二时间序列数据进行切割，得到多个第三时间序列数据，并将所述多个第三时间序列数据按照时间先后顺序进行排序，形成第一时间序列数据集，对所述第一时间序列数据集进行至少一次迭代异常值检测，直至完成所述第一时间序列数据集中的多个第三时间序列数据的异常值检测，得到异常值检测结果，其中，所述至少一次迭代异常值检测包括：
[0044]切割模块，用于按照预设的第二步长对所述第一时间序列数据集中的第一个第三时间序列数据进行切割，得到多个第四时间序列数据，并将所述多个第四时间序列数据按照时间先后顺序进行排序，形成第二时间序列数据集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的异常值检测方法，其特征在于，所述方法包括：解析接收的异常值检测请求，采集第一时间序列数据；对所述第一时间序列数据进行预处理，得到第二时间序列数据；按照预设的第一步长对所述第二时间序列数据进行切割，得到多个第三时间序列数据，并将所述多个第三时间序列数据按照时间先后顺序进行排序，形成第一时间序列数据集，对所述第一时间序列数据集进行至少一次迭代异常值检测，直至完成所述第一时间序列数据集中的多个第三时间序列数据的异常值检测，得到异常值检测结果，其中，所述至少一次迭代异常值检测包括：按照预设的第二步长对所述第一时间序列数据集中的第一个第三时间序列数据进行切割，得到多个第四时间序列数据，并将所述多个第四时间序列数据按照时间先后顺序进行排序，形成第二时间序列数据集；从所述第二时间序列数据集的第一个第四时间序列数据开始逐次滑动直至滑动至所述第二时间序列数据集的最后一个第四时间序列数据，并计算每次滑动时相邻两个第四时间序列数据之间的相关系数；根据多次滑动对应的多个相关系数确定是否调整所述预设的第二步长；当确定调整所述预设的第二步长时，调整所述预设的第二步长得到新步长，及更新所述异常值检测请求中的初始相关系数阈值，根据所述新步长和更新后的初始相关系数阈值对所述第一时间序列数据集中的第二个第三时间序列数据进行下一次迭代异常值检测；当确定不调整所述预设的第二步长，根据所述预设的第二步长和初始相关系数阈值对所述第一时间序列数据集中的第二个第三时间序列数据进行下一次迭代异常值检测。2.如权利要求1所述的基于人工智能的异常值检测方法，其特征在于，所述对所述第一时间序列数据进行预处理，得到第二时间序列数据包括：对所述第一时间序列数据进行转换，得到预设格式的第一时间序列数据；对所述预设格式的第一时间序列数据进行对齐处理，得到对齐后的第一时间序列数据；根据所述对齐后的第一时间序列数据创建时间序列的索引，根据所述索引判断所述对齐后的第一时间序列数据是否存在缺失；当所述对齐后的第一时间序列数据存在缺失时，重新采集第一时间序列数据；或者当所述对齐后的第一时间序列数据不存在缺失时，将所述对齐后的第一时间序列数据确定为第二时间序列数据。3.如权利要求2所述的基于人工智能的异常值检测方法，其特征在于，所述对所述第一时间序列数据进行转换，得到预设格式的第一时间序列数据包括：采用预设函数转换所述第一时间序列数据，当在转换过程中侦测到无效数据报错时，根据所述异常值检测请求中的无效数据的处理策略处理所述无效数据，得到预设格式的第一时间序列数据，其中，所述无效数据的处理策略包括忽略无效数据或者按照预设的显示方式显示无效数据。4.如权利要求1所述的基于人工智能的异常值检测方法，其特征在于，所述计算每次滑动时相邻两个第四时间序列数据之间的相关系数，所述相关系数采用如下公式计算得到：
其中，X和Y分别表示相邻两个第四时间序列数据，Cov(X,Y)表示X与Y的协方差，Var[X]表示X的方差，Var[Y]表示Y的方差。5.如权利要求1所述的基于人工智能的异常值检测方法，其特征在于，所述根据多次滑动对应的多个相关系数确定是否调整所述预设的第二步长包括：计算所述多个相关系数的均值与所述预设的第二步长之间的商数；将所述商数与初始相关系数阈值进行比对；当所述商数大于所述初始相关系数...

【专利技术属性】
技术研发人员：李镐炜，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：