一种面向能源系统运行优化的强化学习控制系统技术方案

本发明专利技术公开了一种面向能源系统运行优化的强化学习控制系统，适用于各类能源系统，如燃气分布式能源系统等，包括能源系统（如燃气分布式能源系统）、运行数据模块（数据库）、收益评估模块（奖励项）、偏差计算模块（惩罚项）和智能体（运行优化），通过运行数据模块（数据库）的在线读写，实现了模型训练与能源系统控制隔离；通过收益评估和偏差计算模型对智能体（运行优化）模型的奖励反馈和惩罚反馈，实现了能源系统安全运行要求下的智能体（运行优化）模型训练。模型训练得到的最佳控制输出作用于能源系统，实现在线的闭环控制。

【技术实现步骤摘要】
一种面向能源系统运行优化的强化学习控制系统
本专利技术涉及一种面向能源系统运行优化的强化学习控制系统，可应用于各类能源系统(如燃气分布式能源系统等)的运行优化控制。
技术介绍
由于能源系统输入燃料，输出电、冷/热能，具有供能多样性，调控复杂等特性，机组结构复杂，耦合性强，人工调控又往往取决于人工经验，不同人员的运行操作水平参差不齐，导致系统运行存在不经济或低效率等情况。同时由于能源系统的流程工艺复杂，设备多，特性多变，又存在多种输入、多种输出的形式，常规机理建模复杂，准确度不够，更难与实际系统运行数据匹配，因此对系统的控制最优化提出了极大挑战。比如发电行业的燃气分布式能源系统，包括燃机、锅炉、汽机、抽汽阀门、减温减压阀等众多设备，工艺流程复杂；并且系统多输入(燃气、水、电)、多输出(冷、热、电)的特点，使得人工调整很难控制在最优运行模式下，效益、效率都难以保证。
技术实现思路
本专利技术的目的在于克服现有技术中存在的上述不足，而提供一种面向能源系统运行优化的强化学习控制系统，解决了由于能源系统输入燃料，输出电、冷/热能，具有本文档来自技高网...

【技术保护点】
1.一种面向能源系统运行优化的强化学习控制系统，其特征是，包括以下部分：/n1)系统结构/n强化学习控制系统包括能源系统、运行数据模块、收益评估模块、偏差计算模块和智能体；/n能源系统包括能源输入、供能输出和系统控制三部分；/n运行数据模块存储能源系统的历史运行数据，包括系统每一时刻的能源输入、供能输出和系统控制三种数据；/n收益评估模块用于评估不同控制模式在用户需求约束下的系统运行收益，作为奖励项反馈给智能体模型；/n偏差计算模块用于评估用户需求和系统供能输出的差值，作为惩罚项反馈给智能体模型；/n智能体通过收益评估模块和偏差计算模块给出系统控制调节增量；系统控制增量表示系统为调整机组运行负...

【技术特征摘要】
1.一种面向能源系统运行优化的强化学习控制系统，其特征是，包括以下部分：
1)系统结构
强化学习控制系统包括能源系统、运行数据模块、收益评估模块、偏差计算模块和智能体；
能源系统包括能源输入、供能输出和系统控制三部分；
运行数据模块存储能源系统的历史运行数据，包括系统每一时刻的能源输入、供能输出和系统控制三种数据；
收益评估模块用于评估不同控制模式在用户需求约束下的系统运行收益，作为奖励项反馈给智能体模型；
偏差计算模块用于评估用户需求和系统供能输出的差值，作为惩罚项反馈给智能体模型；
智能体通过收益评估模块和偏差计算模块给出系统控制调节增量；系统控制增量表示系统为调整机组运行负荷而增加或者减小调控量；
2)系统模型
运行数据模块采用关系型数据库模型，记录系统每一时刻的能源输入、供能输出、系统控制三种数据类型；
收益评估模型针对用户需求量参数，通过数据库查询操作，查询数据中所有满足供能输出与用户需求偏差的数据，并将所有数据对应的系统控制模式按照收益排序，提出的收益可以通过效益或者效率表述，效益和效率的计算公式分别描述如下：
效益计算公式
η＝∑O·PO-∑I·PI.
其中O表示系统的供能输出，PO对应供能输出价格，I表示系统的能源输入，PI对应能源输入价格，∑表示数据求和，相同符号下同；
效率计算公式



其中QO对应供能输出热值，QI对应能源输入热值；
偏差计算...

【专利技术属性】
技术研发人员：王恒涛，张宇龙，孙思宇，柳玉宾，纪宇飞，程思博，
申请(专利权)人：华电电力科学研究院有限公司，
类型：发明
国别省市：浙江;33