基于深度强化学习的微电网电能交易方法技术

基于深度强化学习的微电网电能交易方法，涉及智能电网。制定与其他相连微电网和电厂的电能交易方案。其特征在于，微电网通过无线网络收集相连的微电网的可再生能源产量和负荷以及交易量等信息，基于深度强化学习算法，通过观察自身的电能储量，决定与其他微电网和电厂之间电能的交易量。微电网不需要预知自己与其他微电网的产能和负荷模型，即可实现最优的电能交易方案，可提高可再生能源的利用率，降低对传统能源的依赖性，增加微电网的长期效益。

【技术实现步骤摘要】
基于深度强化学习的微电网电能交易方法
本专利技术涉及智能电网，尤其是涉及基于深度强化学习的微电网电能交易方法。
技术介绍
随着能源短缺和温室效应等环境问题日趋严峻，对于可再生能源的利用成为了一个重要的研究方向，智能电网的提出是为了整合可再生能源、降低电网成本及提供更好电网质量。智能电网由若干个微电网组成，微电网主要包括内部负载、可再生能源发电机及电能存储设备。由于各微电网可再生能源产量、负荷的不确定性以及拓扑结构的复杂性,合理的电能交易方案对提高电网效益,减少损失,提高能源利用率具有重要意义。SaadW等[SaadW,HanZ,PoorHV,etal.Game-theoreticmethodsforthesmartgrid:Anoverviewofmicrogridsystems,demand-sidemanagement,andsmartgridcommunications[J].IEEESignalProcessingMagazine,2012,29(5):86-105.]指出微电网之间通过传输线和变压站进行电能传输的过程中，传输距离以及变压损耗是影响传输成本的直接因素，地理位置临近的微电网之间的交易可以更好地平衡其内部的电能供需关系，减少微电网对使用高污染能源的传统电网的依赖，降低电网成本。对于智能电网电能的分配问题，DalalG等[DalalG,GilboaE,MannorS.Hierarchicaldecisionmakinginelectricitygridmanagement[C]//ProceedingsofThe33rdInternationalConferenceonMachineLearning.2016:2197-2206.]提出了在长期和短期两种时间尺度上使用强化学习算法，学习微电网的产能与负荷模型，减少电网出现供电不足的情况，提高电网的可靠性的方法。GuanC等[GuanC,WangY,LinX,etal.Reinforcementlearning-basedcontrolofresidentialenergystoragesystemsforelectricbillminimization[C]//ConsumerCommunicationsandNetworkingConference(CCNC),2015:637-642.]采用了时间差分算法来学习可再生能源的变化规律，并根据学习的结果决定电能交易量。在电能交易中，最大的困难在于可再生能源产能和微电网负荷的不稳定性。为了解决这个问题，FathiM等[FathiM,BevraniH.Adaptiveenergyconsumptionschedulingforconnectedmicrogridsunderdemanduncertainty[J].IEEETransactionsonPowerDelivery,2013,28(3):1576-1583.]提出自适应的电能消费方案来解决不确定的负荷带来的困扰。由于可再生能源的产量受限于实际天气，不同时间的产量服从一定的状态转移概率，因此，KuznetsovaE等[KuznetsovaE,LiYF,RuizC,etal.Reinforcementlearningformicrogridenergymanagement[J].Energy,2013,59:133-146.]将可再生能源的产量模拟为马尔可夫过程，并在此基础上提出了基于强化学习算法的电能管理方案。
技术实现思路
本专利技术的目的是为解决微电网的电能交易问题，提供深度强化学习结合了Q学习和深度卷积神经网络，克服了人工神经网络需要在训练过程中需要先对数据进行分类，缓解了Q学习算法在状态集和动作集维度大的情况下学习速度会快速下降问题的基于深度强化学习的微电网电能交易方法。本专利技术包括以下步骤：1)设定区域内有N个微电网的智能电网，各微电网之间相互连接且与电厂相连，对于一个微电网i,1≤i≤N，其电池存储容量为C、储能增益系数为β，断电损失系数为p，与智能电网中其余N-1个微电网之间的电能传输损耗系数为lij，电能交易价格为ρij,1≤j≠i≤N，与电厂的传输损耗系数为lii，电能交易价格为ρii；2)构造深度卷积神经网络；初始化深度卷积神经网络的权重参数θi，1≤i≤N、输入序列长度W以及网络更新的操作次数B；初始化深度卷积神经网络输出的Q值；初始化学习因子α,折扣因子γ；3)在k时刻，记录所有微电网前一时刻的电能产量g(k-1)＝[gi(k-1)]1≤i≤N与负荷d(k-1)＝[di(k-1)]1≤i≤N，其中，和分别表示微电网i在第k-1时刻的可再生能源产量和负荷并组成微电网在第k时刻的状态s(k)＝[g(k-1),d(k-1)]；4)在第k时刻，当k<W时，微电网i随机选取一种交易方案xi(k)＝[xij(k)]1≤j≠i≤N,xij(k)∈[-A,A]，其中，1≤j≠i≤N表示微电网i与其他微电网之间的交易量，A表示微电网之间电能的最大可传输量；当k＞W时，微电网i构造深度卷积神经网络的输入序列是由当前状态s(k)以及以往记录的W个状态和交易方案组成，将序列输入到深度卷积神经网络，根据卷积神经网络的权重参数θi(k)，将神经网络的输出结果作为每一种交易方案的Q值，根据最大Q值选取交易方案xi(k)；5)微电网i与相连的微电网之间提出各自的交易方案，确定与微电网之间的实际交易量yij(k),1≤j≠i≤N以及与电厂之间的交易量yii(k)；6)观察第k时刻所有微电网的可再生能源产量g(k)和负荷d(k)；7)微电网i观察本次交易产生的效益ui(k)；8)记录第k时刻的经验到经验池D中；9)对第k时刻深度学习神经网络的权重参数θ(k)进行B次更新操作；10)根据环境变化，重复步骤3)～9)，直到微电网i学习到稳定的交易选择策略。在步骤1)中，所述微电网的智能电网中另一个微电网之间的电能传输损耗系数lij由两个微电网的电能传输路径的长度确定。在步骤2)中，所述构造深度卷积神经网络包含H+M层，前H层为卷积层，后M层为全连接层，其中最后一层的输出数目与智能电网的可选交易方案数目一致。在步骤4)中，所述交易量是有限个离散数值的集合，在第k时刻，对于一个微电网i来说,与智能电网中另一个微电网j之间的交易量xij(k)的具体含义如下所示：在步骤5)中，所述微电网i和微电网j之间的实际传输量yij(k)由以下方法确定：微电网i与其他微电网之间无法根据交易方案完成的部分由电厂承担，与电厂的交易量为yii(k)。在步骤6)中，在第k时刻，微电网i的效益ui(k)由储能增益传输损耗Li(k)，交易的利润或支出Ri(k)，以及不合理的交易导致的供电不足带来的经济损失Pi(k)组成，具体公式为ui(k)＝Gi(k)-Ri(k)-Li(k)-Pi(k)，其中其中，I(·)是指示函数，当括号内变量为真的时候函数取值为1，否则为0。在步骤9)中，所述对第k时刻深度学习神经网络的权重参数θ(k)进行B次更新操作的具体方法可为：在每一次更新过程中，随机从经验池D中选取一个经验取作为输入，通过当前的神经网络，根据输出计算神经网络输出的损失值L(θ本文档来自技高网...

【技术保护点】
基于深度强化学习的微电网电能交易方法，其特征在于包括以下步骤：1)设定区域内有N个微电网的智能电网，各微电网之间相互连接且与电厂相连，对于一个微电网i,1≤i≤N，其电池存储容量为C、储能增益系数为β，断电损失系数为p，与智能电网中其余N‑1个微电网之间的电能传输损耗系数为lij，电能交易价格为ρij,1≤j≠i≤N，与电厂的传输损耗系数为lii，电能交易价格为ρii；2)构造深度卷积神经网络；初始化深度卷积神经网络的权重参数θi，1≤i≤N、输入序列长度W以及网络更新的操作次数B；初始化深度卷积神经网络输出的Q值；初始化学习因子α,折扣因子γ；3)在k时刻，记录所有微电网前一时刻的电能产量g

【技术特征摘要】
1.基于深度强化学习的微电网电能交易方法，其特征在于包括以下步骤：1)设定区域内有N个微电网的智能电网，各微电网之间相互连接且与电厂相连，对于一个微电网i,1≤i≤N，其电池存储容量为C、储能增益系数为β，断电损失系数为p，与智能电网中其余N-1个微电网之间的电能传输损耗系数为lij，电能交易价格为ρij,1≤j≠i≤N，与电厂的传输损耗系数为lii，电能交易价格为ρii；2)构造深度卷积神经网络；初始化深度卷积神经网络的权重参数θi，1≤i≤N、输入序列长度W以及网络更新的操作次数B；初始化深度卷积神经网络输出的Q值；初始化学习因子α,折扣因子γ；3)在k时刻，记录所有微电网前一时刻的电能产量g(k-1)＝[gi(k-1)]1≤i≤N与负荷d(k-1)＝[di(k-1)]1≤i≤N，其中，和分别表示微电网i在第k-1时刻的可再生能源产量和负荷并组成微电网在第k时刻的状态s(k)＝[g(k-1),d(k-1)]；4)在第k时刻，当k<W时，微电网i随机选取一种交易方案xi(k)＝[xij(k)]1≤j≠i≤N,xij(k)∈[-A,A]，其中，表示微电网i与其他微电网之间的交易量，A表示微电网之间电能的最大可传输量；当k＞W时，微电网i构造深度卷积神经网络的输入序列是由当前状态s(k)以及以往记录的W个状态和交易方案组成，将序列输入到深度卷积神经网络，根据卷积神经网络的权重参数θi(k)，将神经网络的输出结果作为每一种交易方案的Q值，根据最大Q值选取交易方案xi(k)；5)微电网i与相连的微电网之间提出各自的交易方案，确定与微电网之间的实际交易量yij(k),1≤j≠i≤N以及与电厂之间的交易量yii(k)；6)观察第k时刻所有微电网的可再生能源产量g(k)和负荷d(k)；7)微电网i观察本次交易产生的效益ui(k)；8)记录第k时刻的经验到经验池D中；9)对第k时刻深度学习神经网络的权重参数θ(k)进行B次更新操作；10)根据环境变化，重复步骤3)～9)，直到微电网i学习到稳定的交易选择策略。2.如权利要求1所述基于深度强化学习的微电网电能交易方法，其特征在于在步骤1)中，所述微电网的智能电网中另一个微电网之间的电能传输损耗系数lij由两个微电网的电能传输路径的长度...

【专利技术属性】
技术研发人员：肖亮，戴灿煌，肖星宇，李炎达，唐余亮，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35