【技术实现步骤摘要】
本公开涉及计算机网络领域，更具体地讲，涉及一种网络日志异常行为检测方法。
技术介绍
1、在现有技术中，论文《apca-based change detection framework formultidimensional data streams》公开的一种滑动窗口上的高维数据异常检测算法pca-based change detection。pca-based change detection方法的核心特征是设定一个固定的参照窗口wr，通过主成分分析得到参照窗口特征值较大的特征向量作为主成分s1，在数据流中的数据源源不断输入的过程中维护由最近n个向量组成的测试窗口wt，计算测试窗口wt在主成分s1上的投影s2，并通过变化打分函数量化测试窗口wt相对于参照窗口wr的异常变化值，若超出提前设定的阈值θ，则报告一次异常检测。该方法有以下两项缺点：
2、1、参照窗口wt是固定的，没有随着高维数据流输入分布的变化而自适应地调整和更新。2、需要计算和保存每个输入元素在主成分s1上的投影。如果的数据流的输入速率很大，计算和存储资源开销将变得很高甚至不可接受。
3、过往最优的滑动窗口上的矩阵略图算法是《matrix sketching over slidingwindows》中提出的lm-fd方法或di-fd方法，但这两种矩阵略图的空间复杂度仍然不是最优的。其中lm-fd方法的渐进空间复杂度为o((1/ε2)logεnr)，di-fd为o((r/ε)log r/ε)，未达到理论空间复杂度下界的o(d/εlog r)。关
4、为了开发更加空间高效的滑动窗口算法，通常需要直接对流算法进行修改，而非现有框架的简单结合。
技术实现思路
1、本公开的实施例的目的在于提供一种网络日志异常行为检测方法。
2、在一个总的方面，提供一种网络日志异常行为检测方法，包括五个步骤：
3、步骤1：对于给定的窗口大小w，将网络日志数据流中最早输入的w个向量组成的矩阵作为参照窗口wr＝[x1,x2,…,xw]并通过奇异值分解计算其主成分，保留由前l个奇异值和奇异向量组成的参照窗口矩阵略图s1；
4、步骤2：对数据流中后续到来的每个向量xi,通过滑动窗口上的最优矩阵略图算法更新相应的测试窗口的矩阵略图s2；
5、步骤3：通过变化打分函数mgkl散度，对参照窗口s1的概率密度估计与测试窗口的s2的概率密度估计计算量化差异分数c，
6、步骤4：通过假设检验数据流分布是否发生变化来量化网络异常行为事件发生的置信度阈值θ，若ckl大于阈值θ，则报告一次异常检测事件，并将当前测试窗口的矩阵略图s2作为新的参照窗口矩阵略图s1；
7、步骤5：通过步骤2继续处理数据流中新的输入。输出为当前是否发生异常行为事件的判断、做出该判断的假设检验置信度mt、参照窗口wr对应的矩阵略图s1以及给出的概率密度估计测试窗口wt对应的矩阵略图s2以及给出的概率密度估计量化差异分数c。
8、所述步骤2中通过滑动窗口上的最优矩阵略图算法更新相应的测试窗口的矩阵略图s2的方法包括步骤2.1-2.5：
9、步骤2.1：遍历所有j＝1,2,…,层的矩阵略图，每一层包含一个主矩阵略图和辅助矩阵略图每个矩阵略图的数据结构由一个历史向量快照队列残差矩阵c、均值变量μ、计数变量cnt、累计frobenius范数σ、协方差矩阵k组成，其中历史向量快照队列为先入先出的队列，队列中的每个快照元素由二元组(v,t)组成，v为d维的快照向量，t为该快照被加入队列的时间戳；残差矩阵c为l×d的矩阵，累计frobenius范数σ为浮点数变量，协方差矩阵k为l×l维的矩阵；
10、步骤2.2：对于第j层，每调用一定次数次本更新方法，删除当前层的主矩阵略图将辅助矩阵略图作为主矩阵略图初始化一个新的矩阵略图的数据结构，包含历史向量快照队列残差矩阵c、均值变量μ、计数变量cnt、累计frobenius范数σ、协方差矩阵k，作为辅助矩阵略图
11、步骤2.3：对于主矩阵略图和辅助矩阵略图若历史向量快照队列的长度大于10l，或队列头元素的快照记录的时间超出当前滑动窗口对应的时间范围(tnow-w,tnow]，则删除队列头元素
12、步骤2.4：对于当前输入向量xi，依次维护新的计数变量cntnew＝cnt+1、新的均值变量
13、步骤2.5：如果当前输入向量的l2范数则将向量xi和当前时间tnow作为一个快照(xi,tnow)添加到历史向量快照队列尾部；
14、步骤2.6：如果当前输入向量的l2范数更新矩阵略图。
15、所述步骤2.6中更新矩阵略图的方法具体为：
16、a)将xi与残差矩阵c作拼接，得到矩阵
17、b)若矩阵略图维护了累计frobenius范数σ，则将输入向量的l2范数累加到累计frobenius范数σ上，即
18、c)如果没有维护协方差矩阵k，或矩阵d的行数大于或等于2l，则进行一次fastfrequent directions操作，即将矩阵d奇异值分解得到u,σ＝diag(σ1,σ2,…,σ2l+1),v，将σ2通过第l大的奇异值σl的平方作差截断得到新的对角矩阵σ'，即并计算新的残差矩阵c＝σ'v；若最大奇异值σ1大于2jn/l，将最大奇异值σ1及其对应的右奇异向量v1及当前时间tnow作为一个快照添加到队列尾部，并在矩阵c中删除第一行；计算新的协方差矩阵累计frobenius范数σ为当前矩阵c最大的奇异值的平方；
19、d)如果维护了协方差矩阵k，且矩阵d的行数小于2l，首先计算新的协方差矩阵并对矩阵k奇异值分解，若最大奇异值σ1大于2jn/l，计算对应的右奇异向量将最大奇异值σ1及其对应的右奇异向量v1及当前时间tnow作为一个快照添加到队列尾部；计算新的残差矩阵c＝协方差矩阵累计frobenius范数σ为当前矩阵c最大的奇异值的平方。
20、所述步骤3中所述差异分数的计算方法为，采用矩阵略图估计概率密度分布估计的参数均值向量μ1、协方差矩阵k1以及概率密度分布估计的参数均值向量μ2、协方差矩阵k2，mgkl差异分数的具体计算形式如下：
21、
22、所述步骤4中所述置信度阈值的确定方法为：将“参照窗口s1与测试窗口s2中数据来自相同分布”作为零假设，采用ph检测来计算该假设成立的置信度；即维护一个累积变量mt：
23本文档来自技高网...
【技术保护点】
1.一种网络日志异常行为检测方法，其特征在于，包括五个步骤：
2.如权利要求1所述的一种网络日志异常行为检测方法，其特征在于，所述步骤2中通过滑动窗口上的最优矩阵略图算法更新相应的测试窗口的矩阵略图S2的方法包括步骤2.1-2.5：
3.如权利要求2所述的一种网络日志异常行为检测方法，其特征在于，所述步骤2.5中更新矩阵略图的方法具体为：
4.如权利要求1所述的一种网络日志异常行为检测方法，其特征在于，所述步骤3中所述差异分数的计算方法为，采用矩阵略图估计概率密度分布估计的参数均值向量μ1、协方差矩阵K1以及概率密度分布估计的参数均值向量μ2、协方差矩阵K2，MGKL差异分数的具体计算形式如下：
5.如权利要求1所述的一种网络日志异常行为检测方法，其特征在于，所述步骤4中所述置信度阈值的确定方法为：将“参照窗口S1与测试窗口S2中数据来自相同分布”作为零假设，采用PH检测来计算该假设成立的置信度；即维护一个累积变量mt：
6.如权利要求1所述的一种网络日志异常行为检测方法，其特征在于，
【技术特征摘要】
1.一种网络日志异常行为检测方法，其特征在于，包括五个步骤：
2.如权利要求1所述的一种网络日志异常行为检测方法，其特征在于，所述步骤2中通过滑动窗口上的最优矩阵略图算法更新相应的测试窗口的矩阵略图s2的方法包括步骤2.1-2.5：
3.如权利要求2所述的一种网络日志异常行为检测方法，其特征在于，所述步骤2.5中更新矩阵略图的方法具体为：
4.如权利要求1所述的一种网络日志异常行为检测方法，其特征在于，所述步骤3中所述差异分数的计算方法为，...
【专利技术属性】
技术研发人员：魏哲巍，尹涵燕，文东勰，李家郡，张骁，
申请(专利权)人：中国人民大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。