基于代理模型虚实迁移的有机朗肯循环强化学习控制方法技术

本发明专利技术公开了一种基于代理模型虚实迁移的有机朗肯循环强化学习控制方法，包括：(1)在余热工况存在扰动的情况下，每隔一段时间改变有机朗肯循环系统的设定值，采集历史积累的闭环运行数据；(2)利用采集的数据训练系统动力学模型，将其作为有机朗肯循环系统的代理模型；(3)利用代理模型构建强化学习预训练的虚拟仿真环境，在一个强化学习episode内设置多个设定值并加入时变的余热扰动，训练强化学习智能体；(4)将强化学习智能体的结构和参数迁移到实际有机朗肯循环控制系统，并进行微调和继续训练；(5)将强化学习智能体用于实际有机朗肯循环系统的过程控制。利用本发明专利技术，可以大幅提升训练效率，有效解决系统响应慢、计算耗时的问题。时的问题。时的问题。

【技术实现步骤摘要】
基于代理模型虚实迁移的有机朗肯循环强化学习控制方法


[0001]本专利技术属于工业过程控制领域，尤其是涉及一种基于代理模型虚实迁移的有机朗肯循环强化学习控制方法。

技术介绍

[0002]有机朗肯循环(Organic Rankine Cycle,ORC)被认为是一种有效的低温余热回收技术，可采用不同的低沸点有机物作为工质，对不同范围的低温余热进行回收利用，且其结构简单，热回收效率高，已成为低温余热回收技术中的研究热点。此外，有机朗肯循环还被广泛用于地热能发电，太阳能发电，生物质能发电。
[0003]如公开号为CN105626175A的中国专利文献公开了一种有机朗肯循环发电系统，包括循环发电主回路和膨胀机膨胀气体调节回路；循环发电主回路中，高压蒸发器的工质出口连接至膨胀机的主气进口，膨胀机的排气口连接至冷凝器的入口，冷凝器的出口连接至高压工质泵的入口，高压工质泵的出口连接至高压蒸发器的工质入口，膨胀机的输出端连接发电机；膨胀机膨胀气体调节回路中，低压工质泵的入口连接至冷凝器的出口，低压工质泵的出口连接至低压蒸发器的工质入口，低压蒸发器的工质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于代理模型虚实迁移的有机朗肯循环强化学习控制方法，其特征在于，包括：(1)在余热工况存在扰动的情况下，每隔一段时间改变有机朗肯循环系统的设定值，采集历史积累的闭环运行数据；(2)利用采集得到的闭环运行数据训练基于神经网络预测的系统动力学模型，将其作为有机朗肯循环系统的代理模型，验证在闭环控制下代理模型与实际系统的准确性和一致性；若代理模型符合要求则执行步骤(3)，否则重复步骤(2)；(3)利用代理模型构建强化学习预训练的虚拟仿真环境，在一个强化学习episode内设置多个设定值并加入时变的余热扰动，训练强化学习智能体以控制代理模型；若训练效果达到预设条件则执行步骤(4)，否则重复步骤(3)；(4)将在虚拟仿真环境中预训练的强化学习智能体的结构和参数迁移到实际有机朗肯循环控制系统，并进行微调和继续训练，直至在实际系统上达到理想的控制效果；(5)将训练好的强化学习智能体用于实际有机朗肯循环系统的过程控制。2.根据权利要求1所述的基于代理模型虚实迁移的有机朗肯循环强化学习控制方法，其特征在于，步骤(1)中，采集历史积累的闭环运行数据具体为：在多种运行工况下采集若干条随时间变化的系统状态量，包括：蒸发器出口压力P
e
、蒸发器出口温度T
oe
、工质的质量流量m
ai
、冷凝流体温度T
ai
、工质泵转速u、过热值SH、跟踪误差SH
‑
SH
set
和控制信号m；采集得到的系统状态序列将作为训练基于神经网络预测的系统动力学模型的输入输出数据。3.根据权利要求2所述的基于代理模型虚实迁移的有机朗肯循环强化学习控制方法，其特征在于，步骤(2)的具体过程为：(2
‑
1)将t时刻的七个状态量P
e
，T
oe
，m
ai
，T
ai
，u，SH，SH
‑
SH
set
和控制信号m输入神经网络预测模型，将t+1时刻的状态量作为标签进行训练，得到系统动力学模型，将其作为有机朗肯循环系统的代理模型；(2
‑
2)在闭环控制下，给训练后的代理模型与实际系统设置相同的初态和控制器参数，通过比较两者的控制效果验证预测模型的准确性和一致性，如果模型预测效果未达到预期，则重复步骤(2
‑
1)。4.根据权利要求3所述的基于代理模型虚实迁移的有机朗肯循环强化学习控...

【专利技术属性】
技术研发人员：谢磊，罗杨杨，林润泽，苏宏业，
申请(专利权)人：浙江大学，
类型：发明
国别省市：