【技术实现步骤摘要】
本专利技术属于电气工程，具体涉及一种基于深度强化学习的微电网储能优化调度方法。
技术介绍
1、微电网是指一个小范围内独立运行的电力系统，它可以独立于主电网运行，也可以与主电网连接并共享能源。可再生能源的不确定性和负荷需求的波动性会给微电网带来能量波动问题。
2、微电网优化调度是一种重要的策略，可以有效解决功率波动问题，确保微电网内的可再生能源和能源负荷之间的平衡。在以前的研究中，利用先进的负荷预测模型，可以预测未来一段时间内的负荷需求，这些预测用于优化调度决策，以确保足够的电能供给。类似地，精确的可再生能源(如太阳能和风能)出力的预测也是必不可少的。这些预测可用于确定何时和多少可再生能源将可用，从而有助于功率的分配。但预测中会出现误差问题，影响调度决策的准确性。同时通过启动备用发电机、调整负荷或储能系统的操作等也有助于平衡能源供需。
3、传统算法可以用来解决微电网优化调度问题，尤其是在复杂性较低或计算资源受限的情况下。传统算法包括线性规划、整数规划、贪婪算法、遗传算法等，这些传统算法可以单独或结合使用，具体取决于微电网的特定需求和约束条件。在实际应用中，通常需要结合数学建模和算法设计，以解决微电网优化调度问题，确保在不同情况下能够取得良好的性能。这个过程中涉及建立复杂的数学模型，同时求解效率并不高。
4、深度强化学习方法在微电网优化调度问题中具有一些显著的好处。微电网运营环境可能存在不断变化的外部因素，如气象、能源价格、负荷需求等，但深度强化学习可以适应这些变化，自动学习和更新策略，以满足不同
5、然而现有的微电网优化调度方法并没有考虑到储能优化运行适应各类场景的问题，也没有考虑到微电网预测数据误差和传统算法的局限性。
技术实现思路
1、本专利技术目的在于提供一种基于深度强化学习的微电网储能优化调度方法，用于解决上述现有技术中存在的技术问题，即，能够解决现有的微电网优化调度问题。
2、为实现上述目的，本专利技术的技术方案是：
3、一种基于深度强化学习的微电网储能优化调度方法，包括以下步骤：
4、考虑储能优化运行的微电网调度模型，以经济性为规划目标，考虑储能优化运行、微电网内设备约束和潮流约束，提出基于深度强化学习的微电网储能优化调度模型；
5、其中，将微电网调度模型转化为马尔可夫决策过程，利用强化学习首先定义状态空间、动作空间和奖励函数，并引入状态转移概率和折扣因子；将状态转移概率和折扣因子结合在一起，定义完整的马尔科夫决策过程；
6、训练后找到用于微电网实际调度的优化策略，ddpg算法结合深度神经网络和确定性策略梯度方法，以迭代的方式不断改进策略，用于训练一个确定性策略以最大化累积奖励；迭代训练actor和critic网络，直到策略收敛或达到预定的训练步数。
7、进一步的，微电网储能优化调度模型的目标函数如下：
8、对微电网的优化调度要满足经济性，即运行成本最小化；运行成本包括弃风/光成本、燃气轮机运行成本和排放污染气体成本、微电网向主电网购电的成本；其中，还考虑储能优化运行这一目标；
9、1)运行成本；
10、
11、式中，pr(t)为系统内可再生能源发电在t时段的出力；为t时段新能源发电出力的最大值，在日前预测获得；cr为单位功率的弃风弃光费用；为充分消纳新能源，可将cr设置得足够大，确保仅在约束条件无法满足时才会产生弃电；pg,k(t)为系统内第k个可调节的发电机在t时段的有功出力；ng为可调节发电机台数；ak、bk、ck为第k台可控发电机的发电费用系数；αem为单位发电功率的排放成本；pline(t)为t时段微电网和主电网之间联络线上的功率；ep(t)为t时段的实时电价；
12、式(1)定义了运行成本为弃风弃光成本、可控发电机运行及排放成本与向上级电网购电成本之和；
13、2)储能系统运行惩罚；
14、soc(t+1)＝soc(t)+δsoc(t) (2)
15、
16、
17、式中，soc(t)是储能系统在t时段的荷电状态；δsoc(t)为储能系统在t时段内变化的荷电状态；pb(t)为储能系统在t时段的充/放电功率；ηdis和ηch分别为放电和充电效率；eb为储能系统的容量；其中pb(t)＜0代表放电状态，pb(t)＞0代表充电电状态；csoc(t)为储能系统运行的惩罚；socmax和socmin为储能系统最佳运行范围的荷电状态上下限；λ1、λ2、λ3和λ4是惩罚系数。
18、进一步的，微电网储能优化调度模型的约束条件如下：
19、1)风光约束；
20、
21、2)可控发电机约束；
22、
23、
24、式中，和分别为可控发电机出力的上下限；cri和crd分别表示可控发电机单位时间内增加或减少的出力限制，即爬坡率上限；
25、3)储能系统约束；
26、socmin≤soc(t)≤socmax (8)
27、-pn≤pb(t)≤pn (9)
28、式中，pn为储能系统的充/放电功率上限；
29、4)潮流约束；
30、
31、
32、式中，和分别为联络线上功率的上下限；uj为节点j的电压；un是节点电压的额定值。
33、进一步的，将微电网的储能优化调度问题转化为一个mdp，定义强化学习问题的核心要素：状态空间、行动空间、奖励函数，mdp提供一种形式化的方法来表示问题，并用于建立微电网优化问题的数学模型；调度智能体通过与微电网环境互动来进行训练，根据ddpg算法来学习最佳策略；训练过程中，模拟各种场景，包括不同的负载需求、可再生能源变化和电力价格波动，以提高代理程序的鲁棒性；
34、其中，状态空间包括微网中的各种电力参数，包括调度时间段t；t时段下的实时电价ep(t)、可再生能源最大出力和负荷需求pload(t)；t-1时段下电池的荷电状态soc(t-1)、可控发电机出力pg(t-1)；定义状态空间为st；
35、
3本文档来自技高网...
【技术保护点】
1.一种基于深度强化学习的微电网储能优化调度方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度强化学习的微电网储能优化调度方法，其特征在于，微电网储能优化调度模型的目标函数如下：
3.根据权利要求2所述的一种基于深度强化学习的微电网储能优化调度方法，其特征在于，微电网储能优化调度模型的约束条件如下：
4.根据权利要求3所述的一种基于深度强化学习的微电网储能优化调度方法，其特征在于，将微电网的储能优化调度问题转化为一个MDP，定义强化学习问题的核心要素：状态空间、行动空间、奖励函数，MDP提供一种形式化的方法来表示问题，并用于建立微电网优化问题的数学模型；调度智能体通过与微电网环境互动来进行训练，根据DDPG算法来学习最佳策略；训练过程中，模拟各种场景，包括不同的负载需求、可再生能源变化和电力价格波动，以提高代理程序的鲁棒性；
5.根据权利要求4所述的一种基于深度强化学习的微电网储能优化调度方法，其特征在于，DDPG算法中，其拟合能力将状态映射到动作策略，将状态-动作对映射到值函数；采用深度强化学习中的DDPG算法
...【技术特征摘要】
1.一种基于深度强化学习的微电网储能优化调度方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度强化学习的微电网储能优化调度方法，其特征在于，微电网储能优化调度模型的目标函数如下：
3.根据权利要求2所述的一种基于深度强化学习的微电网储能优化调度方法，其特征在于，微电网储能优化调度模型的约束条件如下：
4.根据权利要求3所述的一种基于深度强化学习的微电网储能优化调度方法，其特征在于，将微电网的储能优化调度问题转化为一个mdp，定义强化学习问题的核心要素：状态空间、行动空间、奖励函数，mdp提供一种形式化的方法来表示问题，并用于建立微电网优化问题的数学模型；调度智能体...
【专利技术属性】
技术研发人员：邓立，环加飞，王伟，张伟韬，
申请(专利权)人：国家电网有限公司华北分部，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。