一种网络高维大数据异常入侵的检测方法技术

本发明专利技术公开了一种网络高维大数据异常入侵的检测方法，包括学习阶段和检测阶段，其中学习阶段包括首先建立一个包括有固定的SST子空间、无监督的SST子空间、有监督的SST子空间的SST空间，当进入检测阶段时，每一个网络数据到来后，为了捕获到新到达数据的信息，数据所属于的每个SST子空间的概要PCS将会被更新，如果细胞的PCS属于至少一个预定义阈值的SST子空间，则判定这些子空间是异常的离群子空间，最后将异常的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间。本发明专利技术针对网络数据量大，维数升高，使得数据之间的相关性减小的情况下也能进一步提升网络异常入侵的检测效率和准确率。

【技术实现步骤摘要】

本专利技术涉及一种网络数据异常检测方法，具体涉及网络高维大数据异常入侵的检 测方法。
技术介绍
近年来网络发展日新月异，从网络流量异常检测中可以检测到恶意的网络入侵， 而来自于网络的数据规模越来越大，一个被入侵的计算机网络将威胁到网络的稳定和安 全，甚至导致私人信息和财产的丢失。为了保证网络的安全，目前用于检测网络异常入侵所 的方法主要有两类，分别为误用检测方法和异常检测方法。误用检测方法是从流数据中提 取特征并与已知的签名、模式或者规格做比较，如果某个特征违反了一个或者多个签名，这 个入侵就会被发现，这种误用检测方法是由该领域的专家提出的，在检测已知入侵类型的 方法中相对简单和准确，但是，由于该领域专家的知识的有限性，误用检测方法不能有效的 检测当前的未知的入侵。相反，异常检测方法建立了模型和正常数据的配置文件，并认为 明显偏离模型和正常数据的配置文件即为入侵，可以有效的检测新的入侵，然而，异常检测 方法通常具有较高的错误率，并且大部分没有相关错误处理机制，从而完全的依赖于人类 (安全专家）去进一步的检测异常，因此异常检测方法容易产生错误和需要浪费时间去进 一步辨别。 异常检测方法非常类似于异常点检测方法，因此，近年来，所提出的利用异常值检 测的方法大部分都解决了异常检测的问题，但大多数常规的异常值/奇异点检测方法只能 够检测出相对低维和静态数据集（没有频域变化的数据）中的异常，在处理高维数据和数 据流的异常检测时由于对这两个活跃的交互领域缺乏实质性的研宄工作，导致不能有效的 处理大的网络原始数据。在高维空间中关于子空间异常值检测方法，利用估计异常的测量 方法并不能实时更新，导致他们无法处理快速的数据流，在数据流中检测异常的技术依赖 于完整的数据空间，同时这些技术不能发现子空间的异常，也就不能实现对网络高维大数 据进行异常检测。
技术实现思路
本专利技术旨在至少在一定程度上解决现有网络异常检测方法不能适应网络高维大 数据异常入侵的异常检测的问题。为此，本专利技术的一个目的在于提出一种网络高维大数据 异常入侵的检测方法，针对网络数据量大，维数升高，使得数据之间的相关性减小的情况下 也能进一步提升网络异常入侵的检测效率和准确率。 为达到上述目的，本专利技术提出了，所述 种网络高维大数据异常入侵的检测方法包括学习阶段和检测阶段，其中学习阶段首先建立 一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的SST子空间（SS) 的SST空间，每一个网络数据到来后，为了捕获到新到达数据的信息，数据所属于的每个 SST子空间的概要PCS将会被更新，如果细胞的PCS属于至少一个预定义阈值的SST子空 间，则判定这些子空间是异常的离群子空间，最后将异常的细胞的PCS值和包括异常的离 群子空间的全部或特定数量的异常值反馈给用户。 本专利技术提供的网络高维大数据异常入侵的检测方法中的学习阶段包括首先建立 一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有监督的SST子空间（SS) 的SST空间，从而形成了检测数据的异常点的多重准则，且每一个网络数据到来后数据所 属于的每个SST子空间的概要PCS将会被更新，最后将异常的细胞的PCS值和包括异常的 离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间，使得SST空间在持 续更新异常点数据，因此能够快速的发现子空间的各种新的异常，达到自适应处理高维网 络数据异常检测的目的。 进一步的，建立一个包括有固定的SST子空间（FS)、无监督的SST子空间（US)、有 监督的SST子空间（SS)的SST空间的过程包括 S1 :组建固定的SST子空间（FS)，固定的SST子空间（FS)包含在满的晶格中由用 户指定的参数约束的所有子空间，FS满足 S2 :离线学习构建无监督的SST子空间（US)过程，首先向一组历史数据中输入 未标记的训练数据，所有的训练数据被扫描并被唯一的指定在超立方体的一个细胞中， 超立方体中的各个已占有统计信息的细胞在数据分配过程其数据将会被保持，当所有 的训练数据映射到相应的细胞中后，采用多目标遗传算法（M0GA)从训练数据集中找到 子空间中更高数目的异常，这些子空间将被添加到初始的US中；在获得最初的US后， 再进一步获得更多有用的子空间，并在训练数据中找到最无关的子空间，其中训练数 据的整体无关程度在无监督方式下采用聚类分析方法获得，定义通过多目标遗传算法 (M0GA)所获得整体训练数据的最稀少的子空间中两个点的距离为无关的距离（0D)，则，式中m是M0GA返回的最稀少子空间的数目七是返回该集 合的子空间，Pl、P2为子空间的两个点； S3:监督的SST子空间（SS)是指在一些应用中，一些小数量的异常可以由该领域 专家或早期的检测方法中获得，包括采用多目标遗传算法（M0GA)应用到每一个这些异常 的例子，找到最稀疏的子空间，这些子空间被定义为监督的SST子空间（SS)，这些异常的例 子可以被视为该领域的知识，可以有效的改进SST空间使其能更好的检测。 进一步的，所述的细胞的PCS属于至少一个预定义阈值的SST子空间的所述细胞 的PCS为异常点，则进一步通过多目标遗传算法搜索存在所述异常点的SST子空间。 进一步的，所述网络高维大数据异常入侵的检测方法是通过多目标遗传算法搜索 SST子空间中的RD、IRSD、IKRD，并在多代和每一代产生包含多个个体的一个种群（即子空 间）进行子空间搜索。 进一步的，所述子空间的第一代的子空间为随机产生，而随后的多代子空间是利 用交叉和变异搜索算子在他们上一代的子空间中产生，每一代子空间的个数定位在目标函 数空间的不同权衡表面，将位于最佳子空间的表面定义为ParetoFront，则将逐步产生越 来越多的位于ParetoFront的从非最优子空间变化而来的最优子空间。 进一步的，所述聚类分析方法为固定宽度的聚集方法，首先数据集中已经聚集的 每个点P将会被分配到C'簇中，即OD(p,c' ) <d。，Vc，c'，〇D(p,c')彡OD(p, Ci)，这样cQ与已有m点的质心将在p的集群分配中更新， 如果Vc,.，有〇D(p，Ci)彡d。，然后一个新的簇形成，并且P成为这个簇的新质心；如 此重复形成新的族，直到所述所有数据集中的数据被聚集。 进一步的，所述反馈的异常值也被相关性反馈到SST空间的SST无监督子空间 (US)，并在SST无监督子空间（US)内合并相关性反馈产生新的子空间，实现SST空间的动 态更新。 进一步的，所述合并相关性反馈过程为首先是将每个在SST中的子空间设置权重 为1 ;当SST中的子空间是正确离群子空间的时候权重增加，当SST中的子空间是错误信息 的离群子空间的时候权重将减少；每次经过特定数量的网络数据处理，在SST中的子空间 的权重将低于从SST得到的调整权重阈值；产生的新的子空间的权重将高于阈值。 本专利技术提供的网络高维大数据异常入侵的检测方法利用多重准则来检测数据的 异常点，并利用多目标遗传算法搜索存在异常值的子空间，实现多重准则的在线更新，能够 处理网络环境中的高维数据问题，且能有效的搜索子空间从而检测到子空间的异常，能够 利用动态子空间本文档来自技高网...

【技术保护点】
一种网络高维大数据异常入侵的检测方法，包括学习阶段和检测阶段，其中学习阶段包括首先建立一个包括有固定的SST子空间(FS)、无监督的SST子空间(US)、有监督的SST子空间(SS)的SST空间，当进入检测阶段时，每一个网络数据到来后，为了捕获到新到达数据的信息，数据所属于的每个SST子空间的概要PCS将会被更新，如果细胞的PCS属于至少一个预定义阈值的SST子空间，则判定这些子空间是异常的离群子空间，最后将异常的细胞的PCS值和包括异常的离群子空间的全部或特定数量的异常值反馈给用户且反馈至SST空间。

【技术特征摘要】

【专利技术属性】
技术研发人员：李宏周，张吉，庞雪燕，刘建明，陈天宁，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45