一种家庭微电网能量管理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供一种家庭微电网能量管理方法，包括步骤：获取所述家庭微电网的实时状态数据；根据所获取的实时状态数据，采用已训练好的神经网络预测模型获得下一时间段的预测数据，所述预测数据包括下一时间段的发电量及电价数据；其中，所述已训练好的神经网络预测模型为基于Transformer算法的神经网络预测模型；根据所述实时状态数据以及所述预测数据形成状态输入，输入到基于改进的MAISAC算法的能量管理策略模型中，求解所述家庭微电网中各类型用电负载对应的最佳动作，并以所述对应的最佳控制控制各用电负载。本发明专利技术还公开了相应的系统、计算机设备和存储介质。实施本发明专利技术，可以提高家庭微电网能量管理的安全性和稳定性。提高家庭微电网能量管理的安全性和稳定性。提高家庭微电网能量管理的安全性和稳定性。

【技术实现步骤摘要】
一种家庭微电网能量管理方法、装置、设备及存储介质


[0001]本专利技术涉及包含有光伏发电的并网型家庭微电网的
，特别是涉及一种家庭微电网能量管理方法、装置、设备及存储介质。

技术介绍

[0002]随着电网向智能化、绿色化快速转变，以风能、太阳能等可再生能源为主的家庭微电网在智能电网中得到了广泛应用，有效提升了电网的经济性和灵活性，是未来家庭微电网发展的主要方向。然而，可再生能源所特有的间歇性和不确定性以及家用电器数量多、用电需求多变等因素给家庭微电网的能量管理带来了极大的挑战。此外，随着电力电子的发展，家庭电器的数量和用电需求也在不断增加，家庭微电网的能量管理难度随之增加。
[0003]针对家庭微电网的能量管理问题，研究者们提出了大量的能量管理方法，大致可分为3类：基于优化的能量管理方法、基于启发式的能量管理方法和基于强化学习的能量管理方法。其中，基于优化的能量管理方法包括线性规划、动态规划等，对家庭微电网这类复杂的管理系统计算成本高昂；基于启发式的能量管理方法由于受到环境不确定性的干扰，无法得到最优的控制效果。因此，基于优化和基于启发式的能量管理方法难以同时实现实时性和最优性的统一。
[0004]近年来，可实现最优性和实时性权衡的基于强化学习(reinforcement learning,RL)和深度强化学习(deep reinforcement learning,DRL)的能量管理方法随着计算机技术的快速发展已成为了新的研究热点。目前，深度Q网络(Deep Q
‑
Network,DQN)等深度强化学习算法已经在家庭微电网的能量管理领域取得了一定成果。
[0005]但是，现有基于深度强化学习的方法以传统的深度Q网络的能量管理方法为主，而深度Q网络存在因Q值高估而导致控制效果变差的问题。此外，由于深度Q网络的动作是离散的，在控制功率这样连续量的时候需要将其离散化，不可避免地出现离散误差。同时，对于传统的深度强化学习依靠从经验缓存中抽样更新，样本利用率低，使得其训练时间很长，限制了深度强化学习的效果。最后，目前很多算法并未有效的消除可再生能源发电带来的不确定性，严重制约了深度强化学习的控制效果。故，如何设计出一个既能满足实际应用需求又具有优秀控制效果的能量管理方法成为了急待解决的问题。

技术实现思路

[0006]本专利技术所要解决的技术问题在于，提出一种家庭微电网能量管理方法、装置、设备及存储介质，可以在满足家庭日常供电需求的基础上，进一步降低用电费用，提高了家庭电网运行的安全性以及稳定性。
[0007]本专利技术所采用的技术方案为，提供一种家庭微电网能量管理方法，应用于包含有光伏发电的并网型家庭微电网中，其至少包括如下步骤：
[0008]步骤S10，获取所述家庭微电网的实时状态数据；
[0009]步骤S11，根据所获取的实时状态数据，采用已训练好的神经网络预测模型获得下
一时间段的预测数据，所述预测数据包括下一时间段的发电量及电价数据；其中，所述已训练好的神经网络预测模型为基于Transformer(基于自注意力机制的深度学习)算法的神经网络预测模型；
[0010]步骤S12，根据所述实时状态数据以及所述预测数据形成状态输入，输入到基于改进的多智能体柔性动作
‑
评价(Multi agent improved soft actor
‑
critic，MAISAC)算法的能量管理策略模型中，求解所述家庭微电网中各类型用电负载对应的最佳动作，并以所述对应的最佳控制控制各用电负载。
[0011]优选地，进一步包括预先训练并获得所述已训练好的神经网络预测模型的步骤，包括：
[0012]选取当地一个包含光伏发电的并网型家庭微电网中一年的光伏发电量和当地电价数据；
[0013]使用重采样与插值方法对原始电价及发电量等序列进行等间隔化处理后,采用小波变换的方法进行降噪；
[0014]将数据按照固定比例分为训练集和测试集，其中训练集用于训练基于Transformer算法的神经网络预测模型，测试集用于验证所述神经网络预测模型效果；同时在训练集上确定输入因子；
[0015]使用所述神经网络预测模型对未来电价及发电量序列进行预测，并与真实标签计算绝对误差，根据均方根误差和平均绝对误差来对预测结果进行评估，在评估值收敛后，获得已训练好的神经网络预测模型。
[0016]优选地，所述步骤S12进一步包括：
[0017]建立基于MAISAC的能量管理策略模型，其包括：
[0018]建立状态向量s
t
：
[0019][0020]其中，是t时刻电价，是t+1时刻预测电价，P
tPV
是t时刻太阳能发电量，是t+1时刻太阳能预测发电量，P
dem
是t时刻家庭微电网总需求功率；
[0021]建立如下的动作向量Action：
[0022][0023]其中，对于不可断电设备，其动作只有一个开启的动作；对于时间可变设备，其动作T
delay
为推迟的时间；对于功率可变设备，故其动作为其需求功率的最小值到最大值之间的连续动作，其中和表示功率可变设备的最小和最大需求功率；为电动汽车能提供的最大功率；
[0024]建立如下的奖励函数：
[0025][0026]其中，等式右侧第一项是对于电价的限制，P
dem
是t时刻家庭总需求功率，P
PV
是t时
刻太阳能总的发电量；第二项为功率可调整的设备调整后的功率与期望功率之间的差距，为期望功率，是已分配的功率；第三项是可调整时间的设备调整后的时间与原用电时间的差值，是调整后的时间，是原时间；第四项是电动汽车调整后的功率与期望功率之间的差距，为电动汽车期望功率，是已分配的功率；α,β,γ，σ分别是上述三项的前置系数。
[0027]优选地，所述步骤S12进一步包括：
[0028]在目标函数中引入动作熵值如下：
[0029][0030]其中，π
*
是最优策略函数，s
t
是t时刻状态，a
t
是t时刻动作，τ
π
是策略π下的轨迹分布，r是奖励，γ是折扣因子，是当前策略下的熵，α是熵正则化系数。
[0031]优选地，所述步骤S12进一步包括：
[0032]在求解过程中，每个时间步长，以环境状态s
t
为输入，智能体从已设定好的动作集中随机选取一个动作
[0033]执行所述选取的动作，环境向智能体反馈奖励，环境的状态随即从s
t
转变为s
t+1
，生成环境与智能体的交互数据(s
t
,a
t
,s
t+1
,r)，并存储于经验重放缓存D中；
[0034]智能体根据追求最大累计奖励的原则不断地调整选取的输出动作以获得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种家庭微电网能量管理方法，应用于包含有光伏发电的并网型家庭微电网中，其特征在于，至少包括如下步骤：步骤S10，获取所述家庭微电网的实时状态数据；步骤S11，根据所获取的实时状态数据，采用已训练好的神经网络预测模型获得下一时间段的预测数据，所述预测数据包括下一时间段的发电量及电价数据；其中，所述已训练好的神经网络预测模型为基于Transformer算法的神经网络预测模型；步骤S12，根据所述实时状态数据以及所述预测数据形成状态输入，输入到基于改进的MAISAC算法的能量管理策略模型中，求解所述家庭微电网中各类型用电负载对应的最佳动作，并以所述对应的最佳控制控制各用电负载。2.如权利要求1所述的方法，其特征在于，进一步包括预先训练并获得所述已训练好的神经网络预测模型的步骤，包括：选取当地一个包含光伏发电的并网型家庭微电网中一年的光伏发电量和当地电价数据；使用重采样与插值方法对原始电价及发电量等序列进行等间隔化处理后,采用小波变换的方法进行降噪；将数据按照固定比例分为训练集和测试集，其中训练集用于训练基于Transformer算法的神经网络预测模型，测试集用于验证所述神经网络预测模型效果；同时在训练集上确定输入因子；使用所述神经网络预测模型对未来电价及发电量序列进行预测，并与真实标签计算绝对误差，根据均方根误差和平均绝对误差来对预测结果进行评估，在评估值收敛后，获得已训练好的神经网络预测模型。3.如权利要求2所述的方法，其特征在于，所述步骤S12进一步包括：建立基于MAISAC的能量管理策略模型，其包括：建立状态向量s
t
：其中，是t时刻电价，是t+1时刻预测电价，P
tPV
是t时刻太阳能发电量，是t+1时刻太阳能预测发电量，P
dem
是t时刻家庭微电网总需求功率；建立如下的动作向量Action：其中，对于不可断电设备，其动作只有一个开启的动作；对于时间可变设备，其动作T
delay
为推迟的时间；对于功率可变设备，故其动作为其需求功率的最小值到最大值之间的连续动作，其中和表示功率可变设备的最小和最大需求功率；为电动汽车能提供的最大功率；建立如下的奖励函数：
其中，等式右侧第一项是对于电价的限制，P
dem
是t时刻家庭总需求功率，P
PV
是t时刻太阳能总的发电量；第二项为功率可调整的设备调整后的功率与期望功率之间的差距，为期望功率，是已分配的功率；第三项是可调整时间的设备调整后的时间与原用电时间的差值，是调整后的时间，是原时间；第四项是电动汽车调整后的功率与期望功率之间的差距，为电动汽车期望功率，是已分配的功率；α,β,γ，σ分别是上述三项的前置系数。4.如权利要求3所述的方法，其特征在于，所述步骤S12进一步包括：在目标函数中引入动作熵值如下：其中，π
*
是最优策略函数，s
t
是t时刻状态，a
t
是t时刻动作，τ
π
是策略π下的轨迹分布，
r
...

【专利技术属性】
技术研发人员：甘振宁，田杰，杜进桥，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：