一种电力网络虚假数据注入攻击检测方法技术

本发明专利技术公开了一种电力网络虚假数据注入攻击检测方法，包括：以强化学习的方式对环境建立深度学习模型，智能体与环境进行交互，依据电力数据采集与监视控制系统收集的数据集构建出强化学习的多元组，并将多元组收集至经验池，作为后续训练的采样轨迹；将经验池中的采样轨迹分别输入至行动者智能体和评论家智能体，通过长短期记忆网络模块和多层线性网络模块进行训练各自对应的智能体，然后通过损失函数使得行动者智能体和评论家智能体进行交互合作以更新各自的网络参数，以优化深度学习模型的数据检测功能。本发明专利技术提供的检测方法利用长短期记忆网络模块将历史的状态输入也作为检测的依据，提升了系统对于注入攻击的检测识别准确率。识别准确率。识别准确率。

【技术实现步骤摘要】
一种电力网络虚假数据注入攻击检测方法


[0001]本专利技术涉及网络数据安全
，尤其涉及一种电力网络虚假数据注入攻击检测方法。

技术介绍

[0002]随着社会的高速发展与可再生能源的使用，社会的用电量也急剧增大，作为国民经济建设的基础，国家电网承担着维护国家能源体系与社会发展的责任，为了满足日益多样化的用户需求与提升智能化水平，世界不少国家都提出了传统电网向智能电网转型的规划与方案。智能电网是一个完全自动化的电力传输网络，它能够监视和控制每个用户和电网节点，保证从电厂到终端用户整个输配电过程中所有节点之间的信息和电能的双向流动。通过融合电力流、信息流与业务流，智能电网能够合理地分配用户需求的电能质量并降低系统的总体运营成本。
[0003]然而，现有的智能电网大都采取信息和电力网络相互依存的架构，在这种情况下，局部的恶意攻击也可能威胁整个电力系统的安全。虚假数据注入攻击是一种较为常见的恶意攻击，由于其攻击目的在于破坏数据地完整性，因此可以绕过传统的状态监测机制，直接干扰电网控制中心的决策。虚假数据注入攻击给当前智能电网的安全性带来了极大的威胁。目前，检测虚假数据攻击主要采取状态估测与差值判断的方法，通过计算状态预测前后的差值判断数据是否存在错误。然而这种方法只使用单步的特征进行判断，忽略了数据所具有的时间序列特点，所以并不能有效的检测攻击。尤其在电力网络中，由于其数据具有时序性的特点，因此亟需一种能充分利用时间序列数据的虚假数据注入攻击检测方法。
[0004]最大熵离线式行动者评论家方法结合了离线式策略、行动者评论家方法以及最大熵，利用了离线式策略提高样本效率，利用最大化熵来保证稳定性和探索，因此，方法效果好且稳定性高。
[0005]以上
技术介绍
内容的公开仅用于辅助理解本专利技术的专利技术构思及技术方案，其并不必然属于本专利申请的现有技术，也不必然会给出技术教导；在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。

技术实现思路

[0006]为了克服现有技术存在的不足，本专利技术提供一种电力网络虚假数据注入攻击检测方法，具体技术方案如下：
[0007]一方面，提供了一种电力网络虚假数据注入攻击检测方法，包括以下步骤：以强化学习的方式对环境建立深度学习模型，其中，所述强化学习采用基于最大熵离线式行动者评论家方法进行模型的迭代更新，所述环境为电力系统被虚假数据注入攻击；在所述深度学习模型中，智能体与所述环境进行交互，依据电力数据采集与监视控制系统收集的数据集构建出强化学习的多元组，并将所述多元组收集至经验池，作为后续训练的采样轨迹；
[0008]所述多元组包括状态值、智能体的判断、奖励值以及下一步状态，其中，所述状态值包括数据集中的多个输入特征，所述智能体的判断包括对于当前电力系统是否受到攻击的判断，在所述智能体做出决策之后，电力系统进入下一步状态，所述奖励值为所述智能体在交互中获得的对应奖励；
[0009]所述智能体包括行动者智能体和评论家智能体，所述行动者智能体和评论家智能体均包括长短期记忆网络模块和多层线性网络模块；将所述经验池中的采样轨迹分别输入至所述行动者智能体和评论家智能体，通过长短期记忆网络模块和多层线性网络模块进行训练各自对应的智能体，然后通过损失函数使得所述行动者智能体和评论家智能体进行交互合作以更新各自的网络参数，以优化所述深度学习模型的数据检测功能。
[0010]进一步地，所述环境为针对自动电压控制的虚假数据注入攻击，所述状态值为电力系统的观测值，其包括母线上的电压幅值、总线功率注入值、节点间的真实功率、无功功率；所述智能体决策获得的对应奖励的计算方式如下：
[0011]A.若数据被篡改，智能体判定为受到攻击，则智能体得到奖励值a；
[0012]B.若数据被篡改，智能体判定为未受到攻击，则智能体得到奖励值b；
[0013]C.若数据未被篡改，智能体判定为受到攻击，则智能体得到奖励值c；
[0014]D.若数据未被篡改，智能体判定为未受到攻击，则智能体得到奖励值d；
[0015]其中，a>d>0，c<b<0。
[0016]进一步地，在所述长短期记忆网络模块中，其对应的输入为状态值z
t
和历史输入信息的留存特征h
t
‑1，对应的输出是提取的特征p
t
，并根据提取的特征p
t
得到本次输出对应的历史信息的存留特征h
t
。
[0017]进一步地，使用多层线性网络模块对所述长短期记忆网络模块提取的特征继续提取特征并做出判断，根据判断的离散属性，最终行动者的输出为一个分类分布，从该分类分布中采样以得到所述智能体对于当前数据是否被篡改的判断，执行判断之后，环境将返回下一步状态。
[0018]进一步地，若每次从经验池采样的轨迹集合为B，则所述行动者智能体的损失函数由评论家对状态动作对的Q值评估和行动者输出的熵组成，其计算公式如下所示，
[0019][0020]其中ψ
i
对应第i个评论家网络，α对应网络输出分布的熵，对应输入状态为z时行动者网络的输出。
[0021]进一步地，所述评论家智能体的损失函数计算公式如下所示，
[0022][0023]其中，γ代表折扣系数，V对应状态z
t+1
的价值。
[0024]进一步地，根据所述行动者智能体和评论家智能体的损失函数计算损失之后，再使用梯度下降方法计算梯度，以此指导智能体中网络参数的更新。
[0025]进一步地，所述行动者智能体和评论家智能体内部结构相同，而两者输入输出的维度不同。
[0026]又一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的检测方法。
[0027]再一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的检测方法。
[0028]与现有技术相比，本专利技术具有下列优点：采用强化学习的方法进行攻击检测，在网络中加入长短期记忆网络模块，将历史的状态输入也作为检测的依据，以提升系统对于注入攻击的检测识别准确率。
附图说明
[0029]图1是本专利技术实施例提供的电力网络虚假数据注入攻击检测方法中模型架构示意图；
[0030]图2是本专利技术实施例提供的电力网络虚假数据注入攻击检测方法中行动者智能体内部结构示意图；
[0031]图3是本专利技术实施例提供的电力网络虚假数据注入攻击检测方法中评论家智能体内部结构示意图；
[0032]图4是本专利技术实施例提供的电力网络虚假数据注入攻击检测方法中长短期记忆网络模块框架示意图；
[0033]图5是本专利技术实施例提供的电力网络虚假数据注入攻击检测方法的流程示意图。
具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电力网络虚假数据注入攻击检测方法，其特征在于，包括以下步骤：以强化学习的方式对环境建立深度学习模型，其中，所述强化学习采用基于最大熵离线式行动者评论家方法进行模型的迭代更新，所述环境为电力系统被虚假数据注入攻击；在所述深度学习模型中，智能体与所述环境进行交互，依据电力数据采集与监视控制系统收集的数据集构建出强化学习的多元组，并将所述多元组收集至经验池，作为后续训练的采样轨迹；所述多元组包括状态值、智能体的判断、奖励值以及下一步状态，其中，所述状态值包括数据集中的多个输入特征，所述智能体的判断包括对于当前电力系统是否受到攻击的判断，在所述智能体做出决策之后，电力系统进入下一步状态，所述奖励值为所述智能体在交互中获得的对应奖励；所述智能体包括行动者智能体和评论家智能体，所述行动者智能体和评论家智能体均包括长短期记忆网络模块和多层线性网络模块；将所述经验池中的采样轨迹分别输入至所述行动者智能体和评论家智能体，通过长短期记忆网络模块和多层线性网络模块进行训练各自对应的智能体，然后通过损失函数使得所述行动者智能体和评论家智能体进行交互合作以更新各自的网络参数，以优化所述深度学习模型的数据检测功能。2.根据权利要求1所述的电力网络虚假数据注入攻击检测方法，其特征在于，所述环境为针对自动电压控制的虚假数据注入攻击，所述状态值为电力系统的观测值，其包括母线上的电压幅值、总线功率注入值、节点间的真实功率、无功功率；所述智能体决策获得的对应奖励的计算方式如下：A.若数据被篡改，智能体判定为受到攻击，则智能体得到奖励值a；B.若数据被篡改，智能体判定为未受到攻击，则智能体得到奖励值b；C.若数据未被篡改，智能体判定为受到攻击，则智能体得到奖励值c；D.若数据未被篡改，智能体判定为未受到攻击，则智能体得到奖励值d；其中，a>d>0，c<b<0。3.根据权利要求1所述的电力网络虚假数据注入攻击检测方法，其特征在于，在所述长短期记忆网络模块中，其对应的输入为状态值z

【专利技术属性】
技术研发人员：潘裕庆，张苏宁，薛劲松，
申请(专利权)人：国网江苏省电力有限公司苏州供电分公司，
类型：发明
国别省市：