本发明专利技术公开了一种稀疏表达下的基于非负矩阵分解的入侵检测方法及系统，采集网络数据和主机数据，获得原始网络数据一级审计特权程序；对网络数据主机数据预处理，生成网络特征数据、短序列向量；对数据测试矩阵非负矩阵迭代分解，并对基矩阵与权矩阵稀疏表示；利用投影矩阵对稀疏表示的权矩阵数据采样，得到高度特征化的权系数向量；利用特征向量库数据将高度特征化的权系数向量与训练数据中的特征向量匹配，判断是否符合异常特征；该入侵检测方法及系统利用非负矩阵分解数据降维，采用多散度作为度量标准，稀疏表达中的RIP条件加入到联合散度目标函数族中，以约束非负矩阵分解迭代过程，降低数据检测维度，便于入侵检测系统处理高维海量数据。
【技术实现步骤摘要】
本专利技术属于入侵检测
，尤其涉及一种稀疏表达下的基于非负矩阵分解的入侵检测方法。
技术介绍
从 James Anderson 社《Computer Security Threat Monitoring andSurveillance》的技术报告中首次提出了入侵检测的基本概念到现在，入侵检测经历了行为规则匹配，可靠性检测和机器学习检测方法三个阶段。而采用模式识别，机器学习的方法研究入侵检测，使检测系统具有自适应性、学习性、抗毁性，而这是对抗目前网络中各种已知和未知攻击方式的有效手段。其通常做法为提取入侵数据或正常访问数据的特征，构建特征向量库，进行模式匹配，进而完成入侵检测。机器学习的常用方法有统计学习方法、规则归纳、决策树、范例推理、Bayes网络、神经计算、隐马尔科夫模型、遗传算法等。在把机器学习方法应用于入侵检测技术方面，是把入侵检测看作是ー个模式识别问题，即根据网络流量特征和主机审计记录等区分系统的正常行为和异常行为。对于基于机器学习的入侵检测技术的研究，国内外的科研机构较早就给予了高度的重视，进行了大量的研究和探讨。1999年Lindqvist等人开发专家系统工具集并用于入侵检测，首次把专家系统的学习分析功能用于入侵检测。2001年Garcia等人使用进化策略改进基于专家系统的入侵检测系统，以提高系统的检测率；在基于状态转移分析的入侵检测系统方面。2005年Dit-Yand等人用HMM模型描述用户的行为，将与用户行为的距离大于某个阈值的情况判断为入侵。2003年Yeung等人使用状态转移分析设计了一个检测主机系统进程是否异常的系统。2004年Hixon使用马尔可夫链检测网络入侵。2007年，中国科学技术大学的谭小彬和王卫平等人首先建立了一个计算机系统运行状况的隐马尔可夫模型，然后在此模型的基础上提出了一个用于计算机系统实时异常检测的算法。2005年Ye，Nong应用决策树方法进行计算机入侵检测。同年，Burbeck，Kalle等人使用快速増量聚类的数据挖掘算法进行异常检测，改进了标准BIRCH聚类框架，对KDD数据集的检测率95%误报率为2. 8%。哥伦比亚大学的Stolfo等人利用数据挖掘原理，设计了一个概率异常检测器(probabilistic anomaly detection, PAD), PAD对某些异常进程的检测率95%误报率为2%。唐菀、曹阳等人提出了基于约束的基因表达式编程(GEP)规则提取算法(CGREA)，用以解决入侵检测存在的未知攻击检测率低、规则多而复杂导致检测效率不高的问题。该算法测试了对三种未知攻击检测率在88%。郑洪英，，廖晓峰等将入侵检测问题可以转化成数据的最优分类问题，引入模拟退火捜索算法来实现聚类结果的优化。综合国内外的研究现状，机器学习的各种算法在入侵检测领域的研究受到国内外学者的广泛关注，但是对于入侵检测样本数据中数据相关性大、训练重复样本多，导致的训练时间长，以及入侵样本标记困难等问题并没有得到很好的解決。在机器学习领域，矩阵一直都是数据的一种有效的表示方式，同时能高效地进行数据处理。矩阵分析有着完善的基础理论，因此被广泛地运用于信号处理，图像处理，经济分析，医学，生物学，工程技术等各个行业或领域。作为矩阵理论的ー个分支，非负矩阵论起源于1907年由Perron发现,后来又由Frobenius进ー步发展的关于n阶非负矩阵的谱半径的ー个重要性质，即非负矩阵的谱半径必是这个非负矩阵的ー个特征值。自此以后由于它与经济数学，计算数学，组合数学，概率论、物理学、化学等学科有密切的关系，近几十年来迅速发展，已成为线性代数中甚为活跃的研究領域之一。在科学研究和
，大多数据负值是没有实际意义的，非负矩阵作为数据的表示形式，对其处理结果有更明确的物理意义。1999年Lee和Seung在《Nature》提出了非负矩阵分解算法用于图像去噪和人脸重构。作为ー种降維和数据压缩工具，近十来年时间NMF被用于盲源信号分离、基因序列预测、人脸识别、文本聚类/数据挖掘、语音处理、网络入侵检测等领域。NMF分解具有较好维度约减和特征提取的性能，其对特征的提取与传统的PCA (Principle Comnent Analysis), ICA(Independent Comnent Analysis) , SVD(Singular Value Decomposition)等万法个同在于对数据的表示“反映了人类思维中‘局部构成整体’的概念”，因此NMF分解结果可解释 性強，同时其非负性的约束更符合实际应用领域数据的特点。关于NMF对数据的处理能力目前研究得比较深入的是Andrzej Cichocki领导的日本脑科学研究所。该机构主要采用NMF方法对大脑产生的脑电波进行处理，カ图得到人类不同行为下的脑电波信号，分析每种行为对应的脑电波信号与人类思维活动的关系。而这种从混合信号中分离对应行为信号的过程和从网络数据流中分离出正常访问行为和入侵行为的过程是相似的。把NMF用于入侵检测优势在于利用其数据非负的特点，分解结果具有较好的特征表达能力，对信号有较强的分离能力(在盲源分离领域，其基矩阵就是线性相关度较小的基础信号)，以较快的速度和较少的系统开销检测出入侵行为。入侵检测可以看成在大量网络数据中分离出入侵行为和正常行为的过程，而NMF具有较强的数据分离能力，对数据矩阵分解后的基矩阵可解释性较强，这符合入侵检测中对正常或异常数据的分离、表示的需要。我们建立网络访问行为和通信进程之间的关系矩阵，通过NMF分离出入侵进程。当然对合法访问和非法访问的判断，仍然需要建立特征库，进行特征匹配，而NMF入侵检测的优势在于用较少的特征实现精确的匹配。现有机器学习的各种方法在入侵检测领域的研究受到国内外学者的广泛关注，但是对于入侵检测样本数据中数据相关性大、训练重复样本多，导致的训练时间长，以及入侵样本标记困难等问题并没有得到很好的解決。
技术实现思路
本专利技术提供了一种稀疏表达下的基于非负矩阵分解的入侵检测方法，g在解决现有机器学习的各种方法对于入侵检测样本数据中数据相关性大、训练重复样本多导致的训练时间长以及入侵样本标记困难未能进行解决的问题。本专利技术的目的在于提供一种稀疏表达下的基于非负矩阵分解的入侵检测方法，该入侵检测方法包括以下步骤步骤一，采集网络数据和主机数据，获得原始网络数据ー级审计特权程序，并对所采集的数据进行输出；步骤ニ，对网络数据主机数据进行预处理，生成网络特征数据、短序列向量，并对生成的网络特征数据、短序列向量进行存储、检测；步骤三，对经过预处理得到的数据测试矩阵进行非负矩阵迭代分解，并对得到基矩阵与权矩阵分别进行稀疏表示；步骤四，利用满足RIP条件的投影矩阵对稀疏表示的权矩阵数据进行采样，得到高度特征化的权系数向量；步骤五，利用特征向量库的数据，将高度特征化的权系数向量与训练数据中所包含的特征向量进行匹配，判断是否符合异常特征。进ー步，在步骤三中，非负矩阵迭代分解得到的基矩阵在稀疏表示后，将反馈到上一级非负矩阵迭代分解中。进ー步，在步骤五中，利用特征向量库的数据，将高度特征化的权系数向量与训练 数据中所包含的特征向量进行匹配，当符合异常特征时，则说明该测试数据表示了入侵行为，本文档来自技高网...
【技术保护点】
一种稀疏表达下的基于非负矩阵分解的入侵检测方法，其特征在于，该入侵检测方法包括以下步骤：步骤一，采集网络数据和主机数据，获得原始网络数据一级审计特权程序，并对所采集的数据进行输出；步骤二，对网络数据主机数据进行预处理，生成网络特征数据、短序列向量，并对生成的网络特征数据、短序列向量进行存储、检测；步骤三，对经过预处理得到的数据测试矩阵进行非负矩阵迭代分解，并对得到基矩阵与权矩阵分别进行稀疏表示；步骤四，利用满足RIP条件的投影矩阵对稀疏表示的权矩阵数据进行采样，得到高度特征化的权系数向量；步骤五，利用特征向量库的数据，将高度特征化的权系数向量与训练数据中所包含的特征向量进行匹配，判断是否符合异常特征。
【技术特征摘要】
1.一种稀疏表达下的基于非负矩阵分解的入侵检测方法，其特征在于，该入侵检测方法包括以下步骤步骤一，采集网络数据和主机数据，获得原始网络数据一级审计特权程序，并对所采集的数据进行输出；步骤二，对网络数据主机数据进行预处理，生成网络特征数据、短序列向量，并对生成的网络特征数据、短序列向量进行存储、检测；步骤三，对经过预处理得到的数据测试矩阵进行非负矩阵迭代分解，并对得到基矩阵与权矩阵分别进行稀疏表示；步骤四，利用满足RIP条件的投影矩阵对稀疏表示的权矩阵数据进行采样，得到高度特征化的权系数向量；步骤五，利用特征向量库的数据，将高度特征化的权系数向量与训练数据中所包含的特征向量进行匹配，判断是否符合异常特征。2.如权利要求1所述的入侵检测方法，其特征在于，在步骤三中，非负矩阵迭代分解得到的基矩阵在稀疏表示后，将反馈到上一级非负矩阵迭代分解中。3.如权利要求1所述的入侵检测方法，其特征在于，在步骤五中，利用特征向量库的数据，将高度特征化的权系数向量与训练数据中所包含的特征向量进行匹配，当符合异常特征时，则说明该测试数据表示了入侵行为，并将异常结果报警输出；若不符合异常特征时， 则再次进行非负矩阵迭代分解，直至基矩阵和权矩阵乘积与原测试数据的差异小于设定的阈值。4.如权利要求1所述的入侵检测方法，其特征在于，该入侵检测方法还根据检测结果执行日志、报警、阻塞及丢弃响应操作。5.如权利要求1所述的入侵检测方法，其特征在于，在步骤四中，满足RIP条件的投影矩阵可采用一至球矩阵、局部哈达玛矩阵、托利兹矩阵。6.如权利要求1所述的入侵检测方法，其特征在于，该入侵检测方法通过联合散度作为矩阵分解的误差度量标准和实施稀疏化限制，对网络信息号进行处理，得到网络检测数据矩阵的低秩逼近，发现数据的内在结构特征，分离出入侵信息。7.一种稀疏表达下的基于非负矩阵分解的入侵检测系统，其特征在于，该入侵检测系统包括数据采集及预处理模块，用于对进程的调用序列进行收集...
【专利技术属性】
技术研发人员：陈善雄，熊海灵，伍胜，
申请(专利权)人：西南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。