基于经验特征与卷积神经网络的数据流异常检测系统技术方案

本发明专利技术公开了一种基于经验特征与卷积神经网络的数据流异常检测系统。包括经验特征提取模块，用于识别数据包异常识别作用较大的统计特征和包头特征作为基于人工经验的特征；比特流转化图片模块，用于将数据流转化为二维灰度图片的形式，再通过卷积神经网络感知，提取全局的高层感知特征；融合拼接模块，用于融合上述模块作为数据流特征，利用神经网络的全连接层进行异常数据流识别；蒸馏模型模块，在实际部署时替代复杂网络；概念漂移微调模块，对概念漂移更新检测模型；更新经验数据库模块，将新的网络攻击或是隐藏攻击指令加入人工经验数据库。本发明专利技术准确高效地对网络故障、用户误操作、网络攻击等异常行为进行检测。

【技术实现步骤摘要】
基于经验特征与卷积神经网络的数据流异常检测系统
本专利技术涉及一种信息安全技术，具体来说是一种基于经验特征与卷积神经网络的数据流异常检测系统。
技术介绍
随着互联网的飞速发展与广泛应用，网络攻击行为、网络故障等事件日趋频繁，网络空间域的信息安全对个人生活、经济社会稳定、甚至国家安全的重要性与日俱增。在网络空间中，攻击行为绝大多数以网络数据流为载体，例如DOS等拒绝服务攻击、木马、蠕虫病毒等；而异常事件例如1.21DNS解析故障事件，网络的故障也会第一时间反映在网络数据流的状态上。因此以观察网络数据流的模式进行异常检测为核心的数据流异常检测技术已成为信息安全领域的重要技术。近年来随着大数据技术的发展，大规模数据能够进行有效的采集、存储；随着人工智能与机器学习技术的发展，海量数据能够有效进行分析处理获得模型。因此，基于机器学习的数据流异常检测技术日益完善。基于机器学习的方法核心部分在于：特征的选取和分类器的训练。对于特征选取，由于网络数据流具有高维性，目前已有的方法主要有以下两种：一是利用网络数据流各个数据包的统计特征和以及各个数据包包头中特定字段信息，此种方法避免分析各个数据包的载荷和其他包头字段信息，因此较为直接快速。但由于网络攻击行为中，黑客往往会对其攻击进行隐藏，例如利用载荷放置攻击代码或将攻击代码隐藏在不常用的字段中，因此对非配合主动攻击行为往往漏检率较高。二是对数据流的所有信息进行分析，但由于数据流的高维性造成的维度灾难会造成机器学习方法准确率的下降，只能采取匹配的方式，全局数据处理也会造成消耗计算资源多，时间效率低的问题，不符合数据流异常检测的实时性要求。对于分类器的选择，传统的决策树、支持向量机和贝叶斯分类都被提出用于数据流异常检测领域。由于网络数据流具有动态性，易发生数据漂移，此种情况下原有模型不符合新的数据分布，传统的方法往往需要重新训练新的模型，因此难以满足数据流异常检测的实时性要求。海量的网络数据不断涌入，因此数据流检测对实时性的要求较高，而现有的对网络数据流的全部信息进行检查的算法都需要较大计算量和处理时间，难以大规模部署。
技术实现思路
1、专利技术目的。本专利技术提出一种基于深度学习的同时利用传统人工经验特征与深度全局特征的网络数据流异常检测系统，能够准确检测异常网络数据流。2、本专利技术所采用的技术方案。本专利技术提出了一种基于经验特征与卷积神经网络的数据流异常检测系统，包括：经验特征提取模块，用于识别数据包异常识别作用较大的统计特征和包头特征共同作为基于人工经验的特征，并训练基于人工经验特征的SVM分类器；为有效发现网络攻击数据流中被攻击者故意隐藏在大量载荷和非常见包头字段中的攻击指令。比特流转化图片模块，用于将数据流从01比特的形式转化为二维灰度图片的形式，再通过卷积神经网络对其进行感知，提取全局的高层感知特征；融合拼接模块，用于融合拼接经验特征提取模块和比特流转化图片模块的基于深度学习的全局特征作为数据流特征，利用神经网络的全连接层进行异常数据流识别；为提高算法效率，降低计算代价，提高系统的可部署性。蒸馏模型模块，用于设计简单浅层的网络近似复杂深层网络的检测效果，在实际部署时替代复杂网络。在实际部署阶段，一旦检测到发生了概念漂移，则利用最近数据流对深度网络进行模型微调，更新检测模型。概念漂移微调模块，用于实际检测到发生了概念漂移，则利用最近数据流对深度网络进行模型微调，更新检测模型，并将新的模型放入模型库备用。更新经验数据库模块，用于随机采样样本，分别采用人工经验特征检测模型和融合特征检测模型对其进行异常检测，若结果不同，则对其进行人工分析，将新的网络攻击手段或是隐藏攻击指令的方式，加入人工经验数据库。更进一步具体实施例中，所述的比特流转化图片模块包括：比特流转化数字序列模块，用于将01比特流按照八个比特一组进行划分，将一个字节转化为一个0-255之间的整数，此时数据流由01比特序列变为数字序列；数字序列转化图像模块，用于将数字序列中的每个数字视为像素值，对数字序列进行重新排列，使之成为二维图像的形式，从而转化为二维灰度图。更进一步具体实施例中，比特流转化图片模块，对数据流转化为的灰度图像进行感知的网络采用Imagenet预训练的Resnet-101网络。更进一步具体实施例中，融合拼接模块：将人工经验特征和拼接加入已经训练好的比特流转化图片模块中卷积神经网络的倒数第二个全连接层中，之后对模型进行再训练，即可以得到端对端的异常数据流检测网络，网络的输入分别是数据流中提取的人工经验和数据流转化得到的二维灰度图，网络输出为检测结果。为满足实时性需求，更进一步具体实施例中，在蒸馏模型模块中，采用的简单网络采用lenet结构，含有两个卷积层、两个下采样层和两个全连接层。为降低计算开销和时间复杂度都较低，更进一步具体实施例中，在概念漂移微调模块中，模型微调只需要少量训练样本，迭代训练少量轮数。本专利技术提出了一种基于经验特征与卷积神经网络的数据流异常检测方法，步骤一：对网络数据流进行数据预处理，将原始海量报文划分为数据流；步骤二：经验特征提取步骤，对数据流提取人工经验特征，(1)查询数据流统计信息数据库，得到数据流层面对检测异常数据流有效的统计量，包括四层协议端口号、流的包数目、包大小、包之间的时间间隔，对此种特征进行提取；(2)查询包头信息数据库，得到数据包层面对检测异常数据流有效的敏感包头字，对此种特征进行提取；(3)拼接(1)和(2)中特征得到人工经验特征；步骤三：比特流转化图片模块、对数据流训练提取全局特征的卷积神经网络，(1)将01比特的数据流转化为二维灰度图像，首先，将01比特流按照八个比特一组进行划分，将一个字节转化为一个0-255之间的整数，此时数据流由01比特序列变为数字序列；其次，将数字序列中的每个数字视为像素值，对数字序列进行重新排列，使之成为二维图像的形式，从而转化为二维灰度图像；(2)将二维灰度图像作为卷积神经网络的输入，网络结构采用图像分类领域通用的在Imagenet数据集上预训练过的Resnet网络，网络的输出层换位两个神经元，输出是否为异常数据流的结果，训练此网络直至收敛；步骤四：融合拼接模块、训练综合人工经验特征与全局特征的数据流异常检测网络，具体为，(1)网络的输入：在步骤三针对灰度图像进行异常检测的卷积神经网络训练完成后，将人工经验特征作为网络另一个输入，与第一个全连接层的输出进行拼接后，输入到第二个全连接层；(2)网络结构，采用Imagenet数据集上预训练过的Resnet-101网络；(3)网络输出，由于需要用蒸馏模型的方式对复杂深层网络进行压缩，因此resnet-101网络采用软目标输出，其公式如下：其中，表示样本第i类的概率，为网络输出，i和j为都为全连接层网络输出的索引，zi和zj表示上一层全连接层的输出，T表示设定的软化参数，此时设定T＝30；(4)网络损失，此网络的损失设定为网络的软目标输出yf与样本所应属类别的表示向量yh((0，1)或(1，0))之间的交叉熵损失；步骤五：利用通过蒸馏模型的方式对深度的综合人工经验特征与全局特征深度网络进行压缩，得到浅层的近似网络，(1)设定简单网络的输入：网络输入数据形式与原网络相同，第一部分为二维灰度图本文档来自技高网...

【技术保护点】
1.一种基于经验特征与卷积神经网络的数据流异常检测系统，其特征在于包括：经验特征提取模块，用于识别数据包异常识别作用较大的统计特征和包头特征共同作为基于人工经验的特征，并训练基于人工经验特征的SVM分类器；比特流转化图片模块，用于将数据流从01比特的形式转化为二维灰度图片的形式，再通过卷积神经网络对其进行感知，提取全局的高层感知特征；融合拼接模块，用于融合拼接经验特征提取模块和比特流转化图片模块的基于深度学习的全局特征作为数据流特征，利用神经网络的全连接层进行异常数据流识别；蒸馏模型模块，用于设计简单浅层的网络近似复杂深层网络的检测效果，在实际部署时替代复杂网络；概念漂移微调模块，用于实际检测到发生了概念漂移，则利用最近数据流对深度网络进行模型微调，更新检测模型，并将新的模型放入模型库备用；更新经验数据库模块，用于随机采样样本，分别采用人工经验特征检测模型和融合特征检测模型对其进行异常检测，若结果不同，则对其进行人工分析，将新的网络攻击手段或是隐藏攻击指令的方式，加入人工经验数据库。

【技术特征摘要】
1.一种基于经验特征与卷积神经网络的数据流异常检测系统，其特征在于包括：经验特征提取模块，用于识别数据包异常识别作用较大的统计特征和包头特征共同作为基于人工经验的特征，并训练基于人工经验特征的SVM分类器；比特流转化图片模块，用于将数据流从01比特的形式转化为二维灰度图片的形式，再通过卷积神经网络对其进行感知，提取全局的高层感知特征；融合拼接模块，用于融合拼接经验特征提取模块和比特流转化图片模块的基于深度学习的全局特征作为数据流特征，利用神经网络的全连接层进行异常数据流识别；蒸馏模型模块，用于设计简单浅层的网络近似复杂深层网络的检测效果，在实际部署时替代复杂网络；概念漂移微调模块，用于实际检测到发生了概念漂移，则利用最近数据流对深度网络进行模型微调，更新检测模型，并将新的模型放入模型库备用；更新经验数据库模块，用于随机采样样本，分别采用人工经验特征检测模型和融合特征检测模型对其进行异常检测，若结果不同，则对其进行人工分析，将新的网络攻击手段或是隐藏攻击指令的方式，加入人工经验数据库。2.根据权利要求1所述的基于经验特征与卷积神经网络的数据流异常检测系统，其特征在于所述的比特流转化图片模块包括：比特流转化数字序列模块，用于将01比特流按照八个比特一组进行划分，将一个字节转化为一个0-255之间的整数，此时数据流由01比特序列变为数字序列；数字序列转化图像模块，用于将数字序列中的每个数字视为像素值，对数字序列进行重新排列，使之成为二维图像的形式，从而转化为二维灰度图。3.根据权利要求2所述的基于经验特征与卷积神经网络的数据流异常检测系统，其特征在于比特流转化图片模块，对数据流转化为的灰度图像进行感知的网络采用Imagenet预训练的Resnet-101网络。4.根据权利要求1所述的基于经验特征与卷积神经网络的数据流异常检测系统，其特征在于融合拼接模块：将人工经验特征和拼接加入已经训练好的比特流转化图片模块中卷积神经网络的倒数第二个全连接层中，之后对模型进行再训练，即可以得到端对端的异常数据流检测网络，网络的输入分别是数据流中提取的人工经验和数据流转化得到的二维灰度图，网络输出为检测结果。5.根据权利要求1所述的基于经验特征与卷积神经网络的数据流异常检测方法，其特征在于：在蒸馏模型模块中，采用的简单网络采用lenet结构，含有两个卷积层、两个下采样层和两个全连接层。6.根据权利要求1所述的基于经验特征与卷积神经网络的数据流异常检测方法，其特征在于：在概念漂移微调模块中，模型微调只需要少量训练样本，迭代训练少量轮数。7.一种基于经验特征与卷积神经网络的数据流异常检测方法，其特征在于：步骤一：对网络数据流进行数据预处理，将原始海量报文划分为数据流；步骤二：经验特征提取步骤，对数据流提取人工经验特征，(1)查询数据流统计信息数据库，得到数据流层面对检测异常数据流有效的统计量，包括四层协议端口号、流的包数目、包大小、包之间的时间间隔，对此种特征进行提取；(2)查询包头信息数据库，得到数据包层面对检测异常数据流有效的敏感包头字，对此种特征进行提取；(3)拼接(1)和(2)中特征得到人工经验特征；步骤三：比特流转化图片模块、对数据流训练提取全局特征的卷积神经网络，(1)将01比特的数据流转化为二维灰度图像，首先，将01比特流按照八个比特一...

【专利技术属性】
技术研发人员：潘志松，唐斯琪，陈飞琼，白玮，张艳艳，李云波，夏士明，马鑫，
申请(专利权)人：中国人民解放军陆军工程大学，
类型：发明
国别省市：江苏,32