一种基于深度增强学习的可中断负荷优选方法技术

本发明专利技术涉及一种基于深度增强学习的可中断负荷优选方法，属于配电网需求响应领域，包括：通过智能电表及量测装置获取t时刻系统的观测状态，并将其作为观察样本；利用所得观察样本，开展基于竞争深度Q网络（dueling deep Q network，DDQN）的神经网络的训练，定期清除观测样本以保证神经网络学习最新的观测状态，经过一定次数的计算迭代得到训练完成的神经网络；读取量测装置中数据获取配电网实时状态，送入训练完成的神经网络中，以可中断负荷动作后节点电压在允许范围内为约束条件，以用户满意度为指标，进行可中断负荷点的筛选，本发明专利技术可以自动识别用户用电习惯，筛选出用户满意度相对较高的一组满足运行条件的可中断负荷点，具有良好的应用前景。

【技术实现步骤摘要】
一种基于深度增强学习的可中断负荷优选方法
本专利技术涉及配电网需求侧管理领域，更具体的，涉及一种基于深度增强学习的可中断负荷优选方法。
技术介绍
分布式能源(Distributedenergyresource，DER)出力因天气因素的影响具有随机波动性，其在配电网的广泛接入导致配电网电能质量下降，需求侧响应是一种灵活、快捷的用户侧响应手段，由配电网用户直接对自身负荷需求和用电方式进行调整，完全是用户的一种自愿参与行为，旨在快速提高需求弹性、平滑负荷曲线，是提高供电电能质量和优化电网运行的有效措施。公布号为CN108767883A的中国专利技术专利申请公开了一种需求侧的响应处理方法，包括：获取用户用电历史数据，所述历史数据包括固定功耗设备的用电历史数据和可控功耗设备的用电历史数据；对所述历史数据进行统计，识别出负荷异常点；对去除负荷异常点的历史数据进行统计，得到计费周期内的平均用电数据；以可控功耗设备的功率和时间的关系为自变量、以储能设备的充放电功率和时间的关系为自变量、以可控功耗设备的预设工作周期的总能耗为约束条件、以储能设备的容量为约本文档来自技高网...

【技术保护点】
1.一种基于深度增强学习的可中断负荷优选方法，其特征在于，包括：/n(1)通过智能电表及量测装置获取t时刻系统的观测状态；/n(2)根据当前状态采取相应的需求响应控制策略，得到配电网即时回报模型；/n(3)为了使长远回报最大化，需要采取最优的动作，定义所选负荷需求响应的动作估值函数Q

【技术特征摘要】
1.一种基于深度增强学习的可中断负荷优选方法，其特征在于，包括：
(1)通过智能电表及量测装置获取t时刻系统的观测状态；
(2)根据当前状态采取相应的需求响应控制策略，得到配电网即时回报模型；
(3)为了使长远回报最大化，需要采取最优的动作，定义所选负荷需求响应的动作估值函数Qπ(st,at)，根据环境的运行状态观测值，通过迭代进行动作估值函数更新，得到最优动作估值函数的目标值
(4)由目标值与神经网络预计输出Qπ′(st,at,ω)得到神经网络偏差函数，利用小批量梯度下降法更新神经网络参数，完成增强学习；
(5)读取量测装置中数据获取k时刻实时状态sk，送入已经训练完成的神经网络中，选出最佳可中断负荷点。


2.根据权利要求1所述的基于深度增强学习的可中断负荷优选方法，其特征在于，所述步骤(1)包括：
在所有节点安装智能电表监测其功率，随机选出四个节点作为一组可中断负荷，在DER接入节点处安装量测装置获取电压数据，故系统可观测的状态st表示为其中，为t时刻各末端节点i的电压，Ptj为t时刻各可中断负荷j的功率，NU、NC分别为电压观测节点集合和所选负荷接入节点集合。


3.根据权利要求1所述的一种基于深度增强学习的可中断负荷优选方法，其特征在于，所述步骤(2)包括：
(2.1)根据当前状态st采取相应的需求响应控制策略at，按照中断或不中断两种状态考虑，相应设定t时刻的动作函数at表示为为第j个所选负荷的状态变量，只有0或1两种取值，取值为0代表中断供电，取值为1代表不中断，保证可中断负荷动作后末端节点电压在允许范围内的情况下，选出用户满意度最高的一组可中断负荷点，故建立配电网即时运行回报模型rt+1为其中所选节点j的中断控制得分和满意度得分与其对应权重wIL和wuser加权求和得到，权重的数值可由虚拟电厂根据具体的运行目标来选择；
(2.2)对于采用相邻两个采样时间负荷的状态改变量来定义中断控制得分，若状态改变，回报取负值，否则取值为0；
(2.3)对于满意度评分选取负荷动作后功率变化为参...

【专利技术属性】
技术研发人员：李秋燕，王利利，张艺涵，田春筝，李科，郭新志，于昊正，付科源，马杰，孙义豪，全少理，郭勇，杨卓，罗潘，明威宇，李妍，王少荣，
申请(专利权)人：国家电网有限公司，国网河南省电力公司经济技术研究院，华中科技大学，
类型：发明
国别省市：北京;11