【技术实现步骤摘要】
本专利技术属于网络安全领域，涉及网络攻击入侵的检测技术，具体涉及一种基于批量q约束离线强化学习的电力信息系统网络入侵检测方法。
技术介绍
1、随着电力智能化建设不断推进，电力系统的各业务部门均开发、部署、运行着功能不同的信息系统，用于管理电力的生产、配送、控制和用户数据收集等。这些电力信息系统一般都联网，其存储的数据和提供的服务不可避免地成为各种潜在攻击的目标。一旦电力信息系统受到攻击，很可能会影响电力系统的正常运行，甚至产生灾难性的后果。近年来针对电力信息系统网络的入侵和攻击越来越频繁，攻击方法种类也层出不穷，使电力信息系统随时面临着各类安全问题，如何有效的防范对系统的入侵和攻击，保障这些电力信息系统的安全运行显得尤为重要和迫切。
2、入侵检测方法/系统是为保障计算机系统的安全而设计的，它通过收集和分析网络行为、安全日志等其它网络上可以获得的信息以及计算机系统中若干关键点的信息，检查网络或系统中是否存在违反安全策略的和被攻击的迹象，它对系统中未授权用户的攻击、外部攻击和异常现象的操作有实时的保护作用，能在网络系统受到危害之前进行检测和拦截。在不影响网络性能的情况下能对网络时行监测，入侵检测是防火墙的合理补充，帮助系统对付网络攻击，扩展了系统管理员的安全管理能力。
3、为了提升入侵检测方法/系统的识别准确率，人们提出了各种人工智能技术来搭建入侵检测模型。但是，传统的监督学习方法需要大量的、涵盖各种情况的标注数据，而现实环境很难按照要求收集到这些数据，因此这类方法具有一定的局限性。而且，各类数据存在着不平衡
4、强化学习核心难点是采样效率低，需要频繁和环境做交互采集数据训练智能体，这个探索过程对于现实场景会带来严重成本损失、反馈滞后等问题，离线强化学习收集的静态数据中完成智能体训练，可以平衡数据的分布，但标准的离线强化学习在策略评估和选择、数据收集策略等方面还需要改进。使用强化学习训练入侵检测方法/系统模型，通过搭建交互式的环境训练智能体，有助于降低训练所需的数据量和对数据的依赖程度，但是由于数据集通常是固定采集的，如何构建交互式的环境是一个难点，所以需要新的方法训练入侵检测模型。
技术实现思路
1、本专利技术的目的是提供一种利用离线强化学习训练环境，能够提升网络入侵检测识别准确率的电力信息系统网络入侵检测方法。
2、为达到上述目的，本专利技术采用的技术方案是：
3、一种电力信息系统网络入侵检测方法，包括以下步骤：
4、步骤1：环境建模：获取用于网络入侵检测的数据集，将所述数据集转化为离线强化学习训练环境，所述离线强化学习训练环境用于从所述数据集中抽取数据、将所抽取的数据输入智能体并获取所述智能体的输出，根据所述智能体的输入和输出计算奖励值；
5、步骤2：智能体模型搭建：搭建以径向基函数神经网络为基础的智能体模型，所述智能体模型用于根据输入的数据预测网络入侵类型并输出；
6、步骤3：模型训练和更新：利用所述离线强化学习训练环境训练所述智能体模型并更新所述智能体模型，得到训练后的智能体；
7、步骤4：网络入侵检测：利用训练后的所述智能体对电力信息系统网络进行入侵检测。
8、优选的，所述离线强化学习环境随机从所述数据集中抽取数据zt＝{xt,xt+1,yt,yt+1}，其中xt表示t时刻电力信息系统网络的状态，yt表示对应的处于xt状态的电力信息系统网络处于安全状态或遭受攻击的入侵类型，xt+1对应t+1时刻电力信息系统网络的状态，yt+1表示对应的处于xt+1状态的电力信息系统网络处于安全状态或遭受攻击的入侵类型，其中将xt作为所述智能体的输入，获取所述智能体的输出
9、优选的，所述智能体计算所述奖励值的方法为：
10、(1)所述电力信息系统网络被入侵，所述智能体判定为被入侵且入侵类型判断准确：所述智能体的奖励值+a；
11、(2)所述电力信息系统网络被入侵，所述智能体判定为被入侵且入侵类型判断错误：所述智能体的奖励值+b；
12、(3)所述电力信息系统网络被入侵，所述智能体判定为未被入侵：所述智能体的奖励值-c；
13、(4)所述电力信息系统网络未被入侵，所述智能体判定为未被入侵：所述智能体的奖励值+d；
14、(5)所述电力信息系统网络未被入侵，所述智能体判定为被入侵：所述智能体的奖励值-e；
15、其中，a＞b，a＞d，c＞e。
16、优选的，所述智能体模型包括三层网络，第一层网络为所述径向基函数神经网络，第二层网络和第三层网络均为线性网络。
17、优选的，所述智能体根据所得到的各类网络入侵类型的概率，选择概率最大的网络入侵类型作为预测结果。
18、优选的，训练所述智能体模型前对所述数据进行特征筛选而得到特征子集，则利用所述特征子集训练所述智能体模型。
19、优选的，采用互信息法对所述数据进行特征筛选，所述互信息法返回每个特征与目标之间的互信息量的估计值：
20、
21、其中，c对应所述数据集中的网络入侵类型的集合，t表示输入特征项之一，p(t)指特征项t在整个所述数据集中出现的概率，p(ci)表示输入数据属于入侵类型ci的概率，p(t,ci)代表类别ci中出现特征项t的数据数量与整个训练集总的数据数量的比值；所述估计值的取值范围为[0,1]。
22、优选的，更新所述智能体模型前采用行为克隆方式拟合所述数据集得到一个教师网络gω，所述教师网络gω的损失函数为所述教师网络gω的输出与所述数据集对应标签的均方误差，则利用所述教师网络gω更新所述智能体模型。
23、优选的，设所述智能体模型在一个时间步内与环境交互产生的数据为其中xt表示t时刻的电力信息系统网络状态；yt表示t时刻电力信息系统网络处于安全状态或遭受攻击的入侵类型，为所述智能体做出的网络处于安全状态或遭受攻击的入侵类型的预测结果，bt为计算得到的所述智能体应得到的奖励值，xt+1为t+1时刻所述电力信息系统网络处于的状态，则所述教师网络gω对应损失函数计算公式为：
24、
25、其中，γ对应折扣系数；max下的公式表示将t+1时刻的电力信息系统网络状态xt+1代入所述教师网络gω后得到各个网络入侵类型的概率，随后将这些概率除以其中的最大值，将超过阈值τ的网络入侵类型作为候选集合，最后在候选集合中m值最大的作为下一个状态的状态价值，m值包括和是指在网络参数下本文档来自技高网...
【技术保护点】
1.一种电力信息系统网络入侵检测方法，其特征在于：所述电力信息系统网络入侵检测方法包括以下步骤：
2.根据权利要求1所述的电力信息系统网络入侵检测方法，其特征在于：所述离线强化学习环境随机从所述数据集中抽取数据Zt＝{Xt,Xt+1,Yt,Yt+1}，其中Xt表示t时刻电力信息系统网络的状态，Yt表示对应的处于Xt状态的电力信息系统网络处于安全状态或遭受攻击的入侵类型，Xt+1对应t+1时刻电力信息系统网络的状态，Yt+1表示对应的处于Xt+1状态的电力信息系统网络处于安全状态或遭受攻击的入侵类型，其中将Xt作为所述智能体的输入，获取所述智能体的输出
3.根据权利要求2所述的电力信息系统网络入侵检测方法，其特征在于：所述智能体计算所述奖励值的方法为：
4.根据权利要求1所述的电力信息系统网络入侵检测方法，其特征在于：所述智能体模型包括三层网络，第一层网络为所述径向基函数神经网络，第二层网络和第三层网络均为线性网络。
5.根据权利要求1所述的电力信息系统网络入侵检测方法，其特征在于：所述智能体根据所得到的各类网络入侵类型的概率，选择概
6.根据权利要求1所述的电力信息系统网络入侵检测方法，其特征在于：训练所述智能体模型前对所述数据进行特征筛选而得到特征子集，则利用所述特征子集训练所述智能体模型。
7.根据权利要求6所述的电力信息系统网络入侵检测方法，其特征在于：采用互信息法对所述数据进行特征筛选，所述互信息法返回每个特征与目标之间的互信息量的估计值：
8.根据权利要求1所述的电力信息系统网络入侵检测方法，其特征在于：更新所述智能体模型前采用行为克隆方式拟合所述数据集得到一个教师网络Gω，所述教师网络Gω的损失函数为所述教师网络Gω的输出与所述数据集对应标签的均方误差，则利用所述教师网络Gω更新所述智能体模型。
9.根据权利要求8所述的电力信息系统网络入侵检测方法，其特征在于：设所述智能体模型在一个时间步内与环境交互产生的数据为其中Xt表示t时刻的电力信息系统网络状态；Yt表示t时刻电力信息系统网络处于安全状态或遭受攻击的入侵类型，为所述智能体做出的网络处于安全状态或遭受攻击的入侵类型的预测结果，bt为计算得到的所述智能体应得到的奖励值，Xt+1为t+1时刻所述电力信息系统网络处于的状态，则所述教师网络Gω对应损失函数计算公式为：
10.根据权利要求9所述的电力信息系统网络入侵检测方法，其特征在于：最终得到所述智能体的策略为：
...【技术特征摘要】
1.一种电力信息系统网络入侵检测方法，其特征在于：所述电力信息系统网络入侵检测方法包括以下步骤：
2.根据权利要求1所述的电力信息系统网络入侵检测方法，其特征在于：所述离线强化学习环境随机从所述数据集中抽取数据zt＝{xt,xt+1,yt,yt+1}，其中xt表示t时刻电力信息系统网络的状态，yt表示对应的处于xt状态的电力信息系统网络处于安全状态或遭受攻击的入侵类型，xt+1对应t+1时刻电力信息系统网络的状态，yt+1表示对应的处于xt+1状态的电力信息系统网络处于安全状态或遭受攻击的入侵类型，其中将xt作为所述智能体的输入，获取所述智能体的输出
3.根据权利要求2所述的电力信息系统网络入侵检测方法，其特征在于：所述智能体计算所述奖励值的方法为：
4.根据权利要求1所述的电力信息系统网络入侵检测方法，其特征在于：所述智能体模型包括三层网络，第一层网络为所述径向基函数神经网络，第二层网络和第三层网络均为线性网络。
5.根据权利要求1所述的电力信息系统网络入侵检测方法，其特征在于：所述智能体根据所得到的各类网络入侵类型的概率，选择概率最大的网络入侵类型作为预测结果。
6.根据权利要求1所述的电力信息系统网络入侵检测方法，其特...
【专利技术属性】
技术研发人员：杨钰，兴胜利，吉志远，李荷婷，
申请(专利权)人：国网江苏省电力有限公司苏州供电分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。