一种基于SVD算法的数据异常检测方法技术

本发明专利技术提供了一种基于SVD算法的数据异常检测方法，其包括构建原始数据矩阵L(t)，对跨越时间范围r的原始数据L(t)进行SWASVD操作并进行降维，对每列数据进行中心化处理，计算原始数据Lt(t)和重构数据Lt

【技术实现步骤摘要】
一种基于SVD算法的数据异常检测方法


[0001]本专利技术涉及数据检测领域，具体而言，涉及一种基于SVD算法的数据异常检测方法。

技术介绍

[0002]安全是社会层面最为需要关注的问题，在现实中，快速检测设备或场景中的数据异常对安全管理至关重要，需要对异常事件做出及时的响应决策。然而，当数据量急剧增长，实时异常检测变得越来越困难。在过去的研究中，即便诸如基于子空间的方法，通过将原始数据投影到残差子空间来进行异常检测，在处理大规模数据集方面也是非常耗时和计算密集。需要一种能提高检测效率的新方法。

技术实现思路

[0003]基于此，为了解决的问题，本专利技术提供了一种基于SVD算法的数据异常检测方法，其具体技术方案如下:
[0004]一种基于SVD算法的数据异常检测方法，包括步骤一，构建原始数据矩阵L(t)，其中行为时间节点tn，表示某个节点在一段时间内的交通流量，列为时间段ln，表示特定时间段内不同节点的交通流量，使用时间段内交通流量的变化，判断异常出现的时间节点，设置滑动窗口与参数，包括主成分维数γ、阈值θ、滑动窗口大小r即时间节点tn数量，滑动窗口步长κ即时间段ln数量；步骤二，在时间节点t
‑
1使用双正交迭代SVD算法生成一组初始矩阵，作为SWASVD的启动器；步骤三，对跨越时间范围r的原始数据L(t)进行SWASVD操作并进行降维，对每列数据进行中心化处理，得到三个辅助矩阵U,∑和V
T
，标记为U(t),∑(t)andV
T
(t)，以及Lt(t)即在时间tn内的滑动窗口数据，将原始数据Lt(n)投影到由最低r
‑
γ主成分跨越的子空间上来降低其维数；步骤四，计算原始数据Lt(t)和重构数据Lt
′
(t)之间的差异δ(t)，并计算每行的2
‑
范数；步骤五，重复步骤二到四以获得新的滑动窗口数据Lt(t+1)。
[0005]进一步地，所述主成分维数γ值决定正常空间和异常空间的划分，所述阈值θ值决定对候选异常点的识别。
[0006]进一步地，所述降低维度是指将原始数据Lt(t)投影到由最低r
‑
γ主成分跨越的子空间上来降低其维数。
[0007]进一步地，重建数据矩阵Lt
′
(t)，原始数据矩阵Lt(t)和矩阵U(t),∑(t)andVT(t)的关系：
[0008]r
‑
γ＝g，V
′
T
(t)的形状为t
‑
1行g列，并且V
′
T
(t)由V
T
(t)的最后g列组成，输出
[0009]Lt
′
(t)
(t
‑
1)
×
(t
‑
1)
＝Lt(t)
(t
‑
1)
×
(t
‑
1)
×
V
′
T
(t)
(t
‑
1)
×
g
×
V
′
(t)
g
×
(t
‑
1)
。
[0010]进一步地，如果某个点的2
‑
范数超过了阈值θ，该点选为异常点的候选点，其中，
[0011]δ(t)＝||Lt(t)
‑
Lt
′
(t)||。
[0012]一种对检测数据异常敏感性相关的验证方法，其中，获取模拟环境数据，包括若干tn与ln值，并设定模拟天数与数据异常类别；分别使用使用主子空间和非主子空间重构原
始正常数据和重构数据；收集数据集信息并记录最大的2
‑
范数和执行时间；对具备不同节点的若干样本进行实验。
[0013]进一步地，所述执行时间是指完成以下操作的时间，在时间节点t
‑
1使用双正交迭代SVD算法生成一组初始矩阵，作为SWASVD的启动器；对跨越时间范围r的原始数据L(t)进行SWASVD操作并进行降维，对每列数据进行中心化处理，得到三个辅助矩阵U,∑和V
T
，其中，U和V为正交矩阵，∑为非负对角矩阵，标记为U(t),∑(t)andV
T
(t)，以及Lt(t)即在时间tn内的滑动窗口数据，将原始数据Lt(n)投影到由最低r
‑
γ主成分跨越的子空间上来降低其维数；计算原始数据Lt(t)和重构数据Lt
′
(t)之间的差异δ(t)，并计算每行的2
‑
范数。
附图说明
[0014]从以下结合附图的描述可以进一步理解本专利技术。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。
[0015]图1是本专利技术一实施例所述的一种基于SVD算法的数据异常检测方法的流程图；
[0016]图2是本专利技术一实施例所述的一种对检测数据异常敏感性相关的验证方法的流程图；
[0017]图3是本专利技术一实施例的所有数据检测结果L(8)的可视化折线图；
[0018]图4是本专利技术一实施例的网络节点异常变化峰值图；
[0019]图5是本专利技术一实施例的正常数据和重构数据对比图；
[0020]图6是本专利技术一实施例的敏感性结果示意图。
具体实施方式
[0021]为了使得本专利技术的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本专利技术进行进一步详细说明。应当理解的是，此处所描述的具体实施方式仅用以解释本专利技术，并不限定本专利技术的保护范围。
[0022]需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
[0023]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本专利技术。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0024]本专利技术中所述“第一”、“第二”不代表具体的数量及顺序，仅仅是用于名称的区分。
[0025]如图1所示，本专利技术一实施例中的一种基于SVD算法的数据异常检测方法，如果矩阵L(t)是在时间t之前拥有的所有数据。矩阵中的每一行表示某个节点在一段时间内的流量，每一列表示特定时间段内不同节点的流量。因此，矩阵L(t)中的列数随时间增加而增加。
[0026]第一步：设定参数r＝5，κ＝1，γ＝1andθ＝4本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SVD算法的数据异常检测方法，其特征在于，包括：步骤一，构建原始数据矩阵L(t)，其中行为时间节点tn，表示某个节点在一段时间内的交通流量，列为时间段ln，表示特定时间段内不同节点的交通流量，使用时间段内交通流量的变化，判断异常出现的时间节点，设置滑动窗口与参数，包括主成分维数、阈值、滑动窗口大小r即时间节点tn数量，滑动窗口步长k即时间段ln数量；步骤二，在时间节点t
‑
1使用双正交迭代SVD算法生成一组初始矩阵，作为SWASVD的启动器；步骤三，对跨越时间范围r的原始数据L(t)进行SWASVD操作并进行降维，对每列数据进行中心化处理，得到三个辅助矩阵U,∑和V
T
，其中，U和V为正交矩阵，∑为非负对角矩阵，标记为U(t),∑(t)andV
T
(t)，以及Lt(t)即在时间tn内的滑动窗口数据，将原始数据Lt(n)投影到由最低r
‑
γ主成分跨越的子空间上来降低其维数；步骤四，计算原始数据Lt(t)和重构数据Lt
′
(t)之间的差异δ(t)，并计算每行的2
‑
范数；步骤五，重复步骤二到四以获得新的滑动窗口数据Lt(t+1)。2.根据权利要求1所述的基于SVD算法的数据异常检测方法，其特征在于，所述主成分维数γ值决定正常空间和异常空间的划分，所述阈值θ值决定对候选异常点的识别。3.根据权利要求1所述的基于SVD算法的数据异常检测方法，其特征在于，所述降低维度是指将原始数据Lt(t)投影到由最低r
‑
γ主成分跨越的子空间上来降低其维数。4.根据权利要求3所述的基于SVD算法的数据异常检测方法，其特征在于，重建数据矩阵Lt
′
(t)，原始数据矩阵Lt(t)和矩阵U(t),∑(t)andV
T
(t)的关系：r
‑
γ＝g，V
′
T
(t)的形状为t
‑
1行g列，并且V
′
T
(t)由V
T
(t)的最后g列组成，输出Lt
′

【专利技术属性】
技术研发人员：许明，李佳妮，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：