一种基于变分自编码器和深度回声状态网络入侵检测方法技术

本发明专利技术公开了一种基于变分自编码器和深度回声状态网络的工业入侵检测方法，涉及一种工业控制网络入侵检测方法。该方法实现方式为：将捕获的数据集进行标准化处理，划分训练集与测试集，考虑到样本不平衡问题，利用变分自编码器的概率生成特性，生成少数类攻击样本，将处理好的数据送入待训练的深度回声状态网络模型，回声状态网络由于舍弃了反向传播机制，极大缩短了训练时间，并且通过堆叠储备池可以有效提取数据中的潜在特征。结果表明，本发明专利技术不仅取得了相对较短的训练耗时，其检测性能如准确率、精确率和检出率等也有了一定的提升，更适合工业环境，此外，当入侵检测数据集存在样本不平衡问题时，本发明专利技术依然可以取得良好的检测效果。的检测效果。

【技术实现步骤摘要】
一种基于变分自编码器和深度回声状态网络入侵检测方法


[0001]本专利技术涉及一种工业控制网络入侵检测方法，特别是涉及一种基于变分自编码器和深度回声状态网络的工业入侵检测方法。

技术介绍

[0002]黑客针对工业控制系统（ICS）的网络攻击威胁到国家安全，工业控制网络（ICN）是工业控制系统的重要组成部分，信息技术的发展给人们带来便利的同时，也带来了安全上的挑战，早期的工业控制系统只注重实用性和稳定性，必须保证长时间不间断运行，仅仅为了安全更新而中断这些系统会造成经济损失和影响工作效率，例如城市电力系统，一次短暂的停电都可能影响几万人的日常生活。工业控制系统是国家基础设施的核心，一旦遭到攻击会造成经济损失和影响工作效率，及时且准确的检测到网络异常流量显得尤为重要。
[0003]基于异常的网络入侵检测方法近年来受到学者们的关注，通过收集并分析工业控制系统中的网络流量，总结正常情况时流量特征的规律，将正常流量与待检测流量进行比较来判断系统是否遭到攻击，其优点是用户可以通过优化算法得到更精确的检测结果。
[0004]目前，工业异常检测在取得成功的同时还存在两个问题亟需解决：一是样本不平衡，没有足够多的攻击样本可供训练导致对异常样本的检出率低；二是模型训练复杂，现实中的网络流量传输速度很快，复杂的入侵检测算法检测时间太慢。

技术实现思路

[0005]本专利技术的目的在于提供一种基于变分自编码器和深度回声状态网络的工业入侵检测方法，该方法利用变分自编码器(Variational Auto
>‑
Encoders,VAE)对采集到的数据集中的少数类样本进行扩充，VAE是一种深度生成模型，其重构原始输入样本概率密度分布的能力也可以用来生成异常流量；针对模型结构复杂导致检测速率低的问题，该方法基于深度回声状态网络的网络(Deep Echo State Network，DESN)入侵检测方法(D
‑
IDS)，ESN由于舍弃了反向传播机制，极大缩短了训练时间，并且通过堆叠储备池可以有效提取数据中的潜在特征。
[0006]本专利技术的目的是通过以下技术方案实现的：一种基于变分自编码器和深度回声状态网络的工业入侵检测方法，所述方法包括以下步骤：步骤1：对入侵检测数据集进行数据预处理，将其划分为训练集与测试集；步骤2：利用变分自编码器的概率生成特性，生成少数类攻击样本，添加到训练集中平衡样本分布，测试集不添加任何样本；步骤3：搭建深度回声状态模型，将训练集传入深度回声状态网络模型，利用多层储备池有效提取数据的潜在特征，输出层输出样本在不同类别上的预测值；步骤4：设置损失函数负责计算预测值与真实值之间的差距，利用梯度下降算法更新网络参数，保存训练好的深度回声状态网络模型；
步骤5：将测试集传入深度回声状态网络模型完成分类。
[0007]所述的一种基于变分自编码器和深度回声状态网络的工业入侵检测方法，所述深度回声状态网络模型的隐藏层中，储备池内神经元状态公式为：时刻，第一层储备池由外部输入输入，之后每一层输入由堆栈中前一层的输出提供，每个储备池的神经元数量为，表示时刻第层的神经元状态；第一层储备池的神经元状态公式如下：第二层及以后储备池的神经元状态公式如下：其中为输入权重矩阵，为每层储备池的内部权重，为第层与第层之间的内部层连接权重，为第层的漏积参数。
[0008]所述的一种基于变分自编码器和深度回声状态网络的工业入侵检测方法，所述深度回声状态网络模型的输出层设置：输出层选用神经网络中的全连接层，激活函数设置为Softmax；输出层的输入为每个储备池状态的加权和，即输入，输出层最后的输出维度为标签类别。
[0009]本专利技术的优点与效果是：本专利技术相较于其他工业异常入侵检测方法，具体创新体现在本专利技术采用变分自编码器对数据集中的少数类样本进行扩充，针对模型训练复杂问题，提出了使用多层次回声状态网络的入侵检测模型D
‑
IDS。首先使用变分自编码器生成仿真数据平衡样本，之后对D
‑
IDS模型的网络结构和储备池内超参数进行了分析，通过参数寻优算法找到最优参数，最后与其他主流算法进行对比，不论是训练耗时还是入侵检测性能，D
‑
IDS模型均取得了良好的结果。
附图说明
[0010]图1为本专利技术构成示意方框图；图2为变分自编码器原理图；图3为回声状态网络原理图；图4为深度回声状态网络原理图；图5为变分自编码器网络结构图；图6为训练结果图；图7为混淆矩阵图；图8为不同网络结构设置下模型的准确率；图9为不同漏积参数下的Loss曲线；
图10为不同算法的训练时间对比。
具体实施方式
[0011]下面结合附图所示实施例对本专利技术进行详细说明。
[0012]VAE是一种隐空间概率深度生成模型，由编码器和解码器构成，网络训练时，编码器负责把输入的高维特征映射为两个低维向量，用来表示服从高斯分布的均值和方差，均值和方差重构为一个新的隐向量，最后由隐向量通过解码器生成。训练时，利用神经网络的反向传播机制更新网络中的参数，当需要生成数据时，解码器输入随机生成的服从高斯分布的两个数来生成数据。
[0013]工业入侵检测与普通的网络入侵检测不同，检测指标要求更加苛刻，工业入侵检测在保证高精确率的同时还要求高检出率，同时为了适应工业环境，模型的训练不能太复杂。ESN具有很强的非线性拟合能力，在时序预测领域应用广泛，作为递归神经网络的一种，相比于LSTM，GRU等网络，它的训练要简单很多。
[0014]ESN是由Jaeger等人在2001年提出的一种带有储层结构的递归神经网络，它由一个储备池和一个读出层组成。储备池内部通常由大量的神经元组成，神经元之间的连接具有随机性和稀疏性，主要功能是将外部输入映射到高维动态空间中，由此来获得较好的动态性能。储备池中神经元状态更新方程如下：其中和分别表示时刻的外部输入和神经元状态，为输入权重矩阵，为每层储备池的内部权重，为漏积参数。
[0015]读出层是一个线性层，是整个网络唯一可训练的部分，输入为储备池得到的状态，用来计算网络的输出。输出表示为：，其中表示时刻的输出，为输出激活函数，为输出权重矩阵。
[0016]计算机算力的提升使人们可以搭建更深层次的网络，单个储备池提取特征的能力有限，本专利技术提出一种基于深度回声状态网络的入侵检测算法(D
‑
IDS)，D
‑
IDS算法的特点是储备池堆叠层次化，如图2所示.储备池神经元状态更新设置时刻，第一层储备池由外部输入输入，之后每一层输入都是由堆栈中前一层的输出提供的，不同储备池内的参数设置具有很强的灵活性，假设有个储备池，每个储备池的神经元数量均为，表示时刻第层的神经元状态。第一层储备池的神经元状态更新公式如下：第二层及以后储备池的神经元状态更新公式如下：
其中为输入权重矩阵，为每层储备池的内部权重，为第层与第层之间的内部层连接权重，为第层的漏积参数。
[0017]输出层设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于变分自编码器和深度回声状态网络的工业入侵检测方法，其特征在于，所述方法包括以下步骤：步骤1：对入侵检测数据集进行数据预处理，将其划分为训练集与测试集；步骤2：利用变分自编码器的概率生成特性，生成少数类攻击样本，添加到训练集中平衡样本分布，测试集不添加任何样本；步骤3：搭建深度回声状态模型，将训练集传入深度回声状态网络模型，利用多层储备池有效提取数据的潜在特征，输出层输出样本在不同类别上的预测值；步骤4：设置损失函数负责计算预测值与真实值之间的差距，利用梯度下降算法更新网络参数，保存训练好的深度回声状态网络模型；步骤5：将测试集传入深度回声状态网络模型完成分类 。2.根据权利要求1所述的一种基于变分自编码器和深度回声状态网络的工业入侵检测方...

【专利技术属性】
技术研发人员：曹春明，宗学军，何戡，郑洪宇，杨忠君，连莲，孙逸菲，
申请(专利权)人：沈阳化工大学，
类型：发明
国别省市：