一种流式数据的异常检测方法技术

本发明专利技术公开了一种流式数据的异常检测方法

【技术实现步骤摘要】
一种流式数据的异常检测方法、系统、设备及存储介质


[0001]本专利技术涉及数据异常检测
，尤其是涉及一种流式数据的异常检测方法
、
系统
、
设备及存储介质
。

技术介绍

[0002]在大数据和
5G
技术普及的背景下，各行业都面临着海量数据和离群现象的挑战
。
欺诈检测
、
入侵检测
、
生态预警
、
公共健康和工业安全等领域都需要有效的异常检测方法
。
流式数据在许多情况下同时具有时变性
、
非线性和非平稳性，这些特性使得处理和分析流式数据变得更加复杂和挑战性
。
[0003]这些特性的组合使得流式数据异常检测变得更具挑战性，对于流式数据的异常检测，许多研究利用机器学习
、
集成学习和深度学习的方法去解决，取得了较好的效果
。
其中
GRU
网络是使用较广的，效果较好的一种异常检测网络，但是单纯用
GRU 网络进行流式数据的异常检测不能解决流式数据本身特征对检测的影响，因为传统的静态方法往往无法有效应对时变性
、
非线性和非平稳性
。
因此，现有的流式数据的异常检测方法无法有效降低数据时变性
、
非线性和非平稳对异常检测的影响，导致检测的准确度低
。
如何确定最优的
GRU
网络参数，最大限度提高模型准确度也是需要解决的问题，因此在典型 GRU 网络异常检测的基础上，建立适应流式数据时变性
、
非线性和非平稳性的检测精度高的自适应参数模型具有十分重要的意义
。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一
。
为此，本专利技术提出一种流式数据的异常检测方法
、
系统
、
设备及存储介质，能够有效降低数据时变性
、
非线性和非平稳对异常检测的影响，提高异常检测的准确度
。
[0005]第一方面，本专利技术实施例提供了一种流式数据的异常检测方法，所述流式数据的异常检测方法包括：对流式数据集进行预处理，得到预处理后的流式数据集；通过引入相关系数构建迭代最优的变分模态分解方法，并采用所述迭代最优的变分模态分解方法对所述预处理后的流式数据集进行分解，得到最优数量的内禀模态函数分量；基于排序配对学习构建排序配对的自适应麻雀搜索算法；采用所述排序配对的自适应麻雀搜索算法对
GRU
网络中的超参数进行优化，构建流式数据的异常检测模型；将所述最优数量的内禀模态函数分量输入至所述异常检测模型中进行流式数据的异常检测，得到异常检测结果
。
[0006]与现有技术相比，本专利技术第一方面具有以下有益效果：本方法通过采用迭代最优的变分模态分解方法对预处理后的流式数据集进行分
解，能够有效降低数据时变性
、
非线性和非平稳对异常检测的影响，并得到最优数量的内禀模态函数分量；通过基于排序配对学习构建排序配对的自适应麻雀搜索算法，能够使得整个麻雀种群整体成长，实现学习效率的最大化；采用排序配对的自适应麻雀搜索算法对
GRU
网络中的超参数进行优化，构建流式数据的异常检测模型，并将最优数量的内禀模态函数分量输入至异常检测模型中进行流式数据的异常检测，能够提高流式数据的异常检测的准确度
。
[0007]根据本专利技术的一些实施例，所述基于排序配对学习构建排序配对的自适应麻雀搜索算法，包括：采用分段映射方法初始化种群，并初始化所述种群中每个粒子的位置；引入自适应权重更新所述每个粒子的位置，并计算更新位置后的每个粒子的适应度值；根据所述适应度值，采用排序配对学习更新种群进行循环迭代，以得到排序配对的自适应麻雀搜索算法
。
[0008]根据本专利技术的一些实施例，通过如下方式构建所述分段映射方法：
[0009]其中，表示麻雀的数量，表示第个麻雀的原始位置，表示分段映射后的麻雀的初始位置，表示用于控制四段式的分段范围无重叠的控制参数
。
[0010]根据本专利技术的一些实施例，所述引入自适应权重更新所述每个粒子的位置，包括：引入自适应权重为：
[0011]引入自适应权重后，对发现者的位置进行更新，以得到每个粒子的位置；其中，所述发现者的位置更新为：
[0012]其中，表示自适应权重，表示初始权值，表示常量参数，表示最大迭
代次数，表示第个麻雀在第维中的位置信息，表示当前迭代次数，表示服从正态分布的随机数，表示
1xd
的矩阵，表示预警值，表示安全值，表示随机数
。
[0013]根据本专利技术的一些实施例，所述根据所述适应度值，采用排序配对学习更新种群，包括：将每个粒子的适应度值进行排序，得到排序后的适应度值；将所述排序后的适应度值分成范例组和学习组；将学习组向范例组进行配对学习，以更新种群
。
[0014]根据本专利技术的一些实施例，通过如下方式构建相关系数：
[0015]其中，表示第个内禀模态函数分量与原始信号的相关系数，表示原始信号，表示第个内禀模态函数分量
。
[0016]根据本专利技术的一些实施例，所述通过引入相关系数构建迭代最优的变分模态分解方法，并采用所述迭代最优的变分模态分解方法对所述预处理后的流式数据集进行分解，得到最优数量的内禀模态函数分量，包括：根据所述相关系数构建目标函数；基于所述目标函数迭代优化变分模态分解方法，直到所述目标函数的结果小于阈值，得到迭代最优的变分模态分解方法；采用所述迭代最优的变分模态分解方法对所述预处理后的流式数据集进行分解，得到最优数量的内禀模态函数分量
。
[0017]第二方面，本专利技术实施例还提供了一种流式数据的异常检测系统，所述流式数据的异常检测系统包括：数据处理单元，用于对流式数据集进行预处理，得到预处理后的流式数据集；数据分解单元，用于通过引入相关系数构建迭代最优的变分模态分解方法，并采用所述迭代最优的变分模态分解方法对所述预处理后的流式数据集进行分解，得到最优数量的内禀模态函数分量；算法优化单元，用于基于排序配对学习构建排序配对的自适应麻雀搜索算法；模型构建单元，用于采用所述排序配对的自适应麻雀搜索算法对
GRU
网络中的超参数进行优化，构建流式数据的异常检测模型；异常检测单元，用于将所述最优数量的内禀模态函数分量输入至所述异常检测模型中进行流式数据的异常检测，得到异常检测结果
。
[0018]第三方面，本专利技术实施例还提供了一种流式数据的异常检测设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上所述的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种流式数据的异常检测方法，其特征在于，所述流式数据的异常检测方法包括：对流式数据集进行预处理，得到预处理后的流式数据集；通过引入相关系数构建迭代最优的变分模态分解方法，并采用所述迭代最优的变分模态分解方法对所述预处理后的流式数据集进行分解，得到最优数量的内禀模态函数分量；基于排序配对学习构建排序配对的自适应麻雀搜索算法；采用所述排序配对的自适应麻雀搜索算法对
GRU
网络中的超参数进行优化，构建流式数据的异常检测模型；将所述最优数量的内禀模态函数分量输入至所述异常检测模型中进行流式数据的异常检测，得到异常检测结果
。2.
根据权利要求1所述的流式数据的异常检测方法，其特征在于，所述基于排序配对学习构建排序配对的自适应麻雀搜索算法，包括：采用分段映射方法初始化种群，并初始化所述种群中每个粒子的位置；引入自适应权重更新所述每个粒子的位置，并计算更新位置后的每个粒子的适应度值；根据所述适应度值，采用排序配对学习更新种群进行循环迭代，以得到排序配对的自适应麻雀搜索算法
。3.
根据权利要求2所述的流式数据的异常检测方法，其特征在于，通过如下方式构建所述分段映射方法：，其中，表示麻雀的数量，表示第个麻雀的原始位置，表示分段映射后的麻雀的初始位置，表示用于控制四段式的分段范围无重叠的控制参数
。4.
根据权利要求2所述的流式数据的异常检测方法，其特征在于，所述引入自适应权重更新所述每个粒子的位置，包括：引入自适应权重为：，引入自适应权重后，对发现者的位置进行更新，以得到每个粒子的位置；其中，所述发现者的位置更新为：
，其中，表示自适应权重，表示初始权值，表示常量参数，表示最大迭代次数，表示第个麻雀在第维中的位置信息，表示当前迭代次数，表示服从正态分布的随机数，表示
1xd
的矩阵，表示预警值，表示安全值，表示随机数
。5.
根据权利要求2所述的流式数据的异常检测方法，其特征在于，所述根据所述适应度值，采用排序配对学习更新种群，包括：将每个粒子的适应度值进行排序，得到排序后的适应度值；将所述排序后的适应度值分成范例组和学习组；将学习组向范例组进行配对学...

【专利技术属性】
技术研发人员：郑熠莉，郁松，张金焕，郭佳，姜燕，符雪磊，曾彦菁，
申请(专利权)人：中南大学，
类型：发明
国别省市：