【技术实现步骤摘要】
一种基于深度强化学习的多能流优化智能仿真方法及系统
[0001]本专利技术属于能源互联网仿真
,特别涉及一种基于深度强化学习的多能流优化智能仿真方法及系统。
技术介绍
[0002]能源互联网建模仿真目前仍主要以物理机理模型为主,利用数学公式和物理机理构建发电机、热电联产机组、冷热电三联供、P2G、能量路由器、电网、热网等关键设备及功能网络模型;也可以数据驱动,基于海量历史数据利用深度学习、聚类分析等技术构建发电、负荷、能源耦合及储能等模型的数据驱动建模方法。建模仿真的目标是尽最大可能地数字化复现真实现场的设备、环境等关键环节,并在此基础上开展规划设计、监测分析、运行优化等内容。
[0003]优化运行相关研究目前主要是基于数学模型预测的方法和启发式算法实现优化。但是数学模型预测方法例如混合整数线性规划方法,依赖于预测的准确度,同时求解过程较为复杂,启发式算法如遗传算法、粒子群算法计算成本较大,实时性方面有待于提升。
[0004]清华大学CloudPSS:基于云计算的电力系统仿真平台(Cloud computing
‑
based Power System Simulator,CloudPSS)是一款面向能源互联网的建模仿真平台,其采用完全自主研发的电磁暂态仿真内核,利用云端的异构并行计算资源,为用户提供面向交直流混联电网、可再生能源发电、微电网、配电网、供热网等多种能源网络的建模及仿真分析功能。CloudPSS云仿真为开放式云服务平台。其云服务框架,如图1所示,包含高度解耦的表现层 ...
【技术保护点】
【技术特征摘要】
1.基于深度强化学习的多能流优化智能仿真方法,其特征在于,包括:根据能源互联网模型设置仿真参数;将所述仿真参数输入预先训练好的深度强化学习模型,获得能源互联网模型中各设备的控制策略及能源互联网模型状态信息;输出所述控制策略及能源互联网模型状态信息。2.根据权利要求1所述基于深度强化学习的多能流优化智能仿真方法,其特征在于,所述能源互联网模型为预先建立的电/气/热能源系统模型。3.根据权利要求1所述基于深度强化学习的多能流优化智能仿真方法,其特征在于,所述根据能源互联网模型设置仿真参数的步骤中,所述仿真参数包括:感知环境状态、动作和奖励;所述感知环境状态包括电、热、气三种能源形式的多能流潮流数据;电网络的参数包括有功、无功、电压和功率因数;热网络参数包括温度和流量;气网络参数包括压力和流量;所述动作包括负荷调减、发电机出力调整和储能储热储气调整;所述奖励包括发电成本、运行成本及功率越限惩罚。4.根据权利要求1所述基于深度强化学习的多能流优化智能仿真方法,其特征在于,所述将所述仿真参数输入预先训练好的深度强化学习模型,获得能源互联网模型中各设备的控制策略及能源互联网模型状态信息的步骤中,预先训练好的深度强化学习模型的训练步骤包括:基于能源互联网模型设置训练用仿真参数;所述训练用仿真参数包括:感知环境状态、动作和奖励;所述感知环境状态包括电、热、气三种能源形式的多能流潮流数据;电网络的参数包括有功、无功、电压、功率因数;热网络参数包括温度、流量;气网络参数包括压力、流量;所述动作包括负荷调减、发电机出力调整、储能储热储气调整;所述奖励包括发电成本、运行成本及功率越限惩罚;基于所述训练用仿真参数对智能体进行训练获得预先训练好的深度强化学习模型。5.根据权利要求4所述基于深度强化学习的多能流优化智能仿真方法,其特征在于,所述基于所述训练用仿真参数对智能体进行训练获得预先训练好的深度强化学习模型的步骤中,对智能体进行训练的步骤包括:步骤1:设置训练python脚本,确定main()函数及迭代次数;步骤2:构建行动者网络和评论家网络,根据感知环境状态,定义状态空间s为n个参数,对应输入层神经元个数为n,动作空间为负荷调减、发电机出力调整、储能储热储气调整,动作数量为m,对应输出层神经元个数为m;步骤3:训练循环开始,根据能源互联网模型中各设备初始参数条件,计算电/气/热能源系统潮流参数,生成t时刻环境状态s
t
;步骤4:行动者网络根据环境状态s
t
生成t时刻动作a
t
;步骤5:根据t时刻动作a
t
观察能源互联网模型环境状态,并将动作更新至图形化建模模块进行潮流计算,生成t+1时刻环境状态s
t+1
;步骤6:根据t时刻动作a
t
和t+1时刻环境状态s
t+1
计算t时刻动作a
t
的奖励值R;步骤7:将由t时刻环境状态s
t
、动作a
t
、t+1时刻环境状态s
t+1
、t时刻动作a
t
的奖励值R构成的四元组{s
t
,a
t
,s
t+1
,R}作为一条样本输送至经验回放单元;
经验回放单元设置为更新机制:由步骤2
‑
步骤6不断产生新的样本输送至经验回放单元,超出经验回放单元预设存储数量的老样本自动删除;经验...
【专利技术属性】
技术研发人员:陈盛,王新迎,田捷,闫冬,武国良,祖光鑫,
申请(专利权)人:国网黑龙江省电力有限公司电力科学研究院国家电网有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。