基于制造技术

本发明专利技术公开了基于

【技术实现步骤摘要】
基于Modelica与强化学习联合仿真的区域供热优化控制方法


[0001]本专利技术涉及到区域供热系统运行控制领域，尤其涉于基于
Modelica
与强化学习联合仿真的区域供热系统优化控制方法
。

技术介绍

[0002]随着人民生活水平的不断提高，居住环境的舒适性和可控性逐渐成为影响居民幸福感重要因素，对建筑热工设计的需求也从满足最低限度要求逐步转向热舒适
。
在传统的能源控制中，往往会注重于供给端的能源调控，比如在热电联产的末端进行质调节和量调节，然而如果为了节约经济成本，这样往往会忽略用户侧的感受，可能出现供热不足与供热过剩的现象，用户的热舒适不能得到保证
。
[0003]目前国内外供热系统的热负荷控制主要包括两种：一种是基于规则的控制方法，通过提前设定已知的控制策略对供热系统进行调控，如常用的方法有
PID
调节，但该方法具有稳定性差，震荡幅度较大
、
容易受到干扰等缺点；另一种是基于模型预测控制的方法，通过提前输入已知的预测数据，判断供热系统下一时刻的行为，但该方法不仅需要大量的实测数据来确保过程模型的准确性，而且计算量大，在线优化比较困难
。
本文提出了一种新的方法来对热负荷进行控制，即利用人工智能（
AI
）对热负荷进行控制，不仅可以优化复杂目标，而且可以在线学习和优化控制，通过试错学习效果更好的策略
。

技术实现思路

[0004]本专利技术提出了基于
Modelica
与强化学习联合仿真的区域供热优化控制方法
。
该方法将使用
Modelica
建立高精度的区域供热系统模型与
Python
中的强化学习自适应优化控制相结合，二者不断循环迭代实现控制策略的快速优化，实现了仿真与学习控制的有效融合，对提升区域供热系统的经济性和用户舒适性有显著帮助
。
[0005]基于
Modelica
与强化学习联合仿真的区域供热优化控制方法，包括如下步骤：步骤
S1、
建立区域供热系统模型，所述的模型主要包括空气源热泵
、
一次侧给水泵
、
换热器
、
辐射采暖器
、
二次侧给水泵
、
房屋住宅建筑以及室外天气等模块，按照系统架构进行连接，对区域供热系统模型进行仿真；步骤
S2、
设置耗电量为优化目标，并在仿真模型中添加与优化相关的输入输出接口，输入接口：设定一次侧给水量，输出接口：热泵的累积耗电量，然后导出功能模拟单元（
FMU
）文件；步骤
S3、
在
Python
环境中导入上述的
FMU
文件，配置模型输入接口的参数，将接口与导出的
FMU
文件相连接；步骤
S4、
构建强化学习的基本框架，主要包括代理与环境，代理即强化学习系统中的主体，负责根据环境状态选择合适的动作，以取得最大化的累积奖励
。
环境是指代理生存和行动的外部世界，它会对代理的动作做出反应
。
环境会给出下一个状态，以及针对代理当前动作的即时奖励
。
代理是学习主体，环境提供学习场所和反馈信号；
步骤
S5、
设置强化学习算法的参数，包括积极和消极的奖励信号
、
可选行为列表
、
运行代数等，并定义房间温度
、
耗电量等约束范围，然后强化学习代理通过不断探索不同的二次侧给水泵控制信号，在满足约束的前提下获得最大奖励，最终输出一系列优化后的二次侧给水泵控制信号
。
[0006]总而言之，本专利技术将
Modelica
的仿真模型与
Python
的强化学习二者之间的不断优化迭代仿真，在不断的试错学习中寻找到二次侧给水泵运行最优的行为列表
。
具体来说，首先在
Modelica
软件中建立高精度的区域供热系统的物理模型，能够准确再现系统的稳态和瞬态特性
。
然后生成
FMU
模型，采用强化学习算法进行二次侧给水量参数优化，以实现空气源热泵的累积耗电量最低化
。
本专利技术有效解决了
Modelica
仿真与强化学习算法融合的难题，提出了一种创新性的区域供热系统优化方法
。
附图说明
[0007]图1是本专利技术基于
Modelica
与强化学习联合仿真的区域供热系统优化控制方法的流程图
。
[0008]图2是本专利技术实施例提供的基于
Modelica
与强化学习联合仿真的区域供热系统优化控制方法的构建强化学习中所需要的区域供热系统环境框架图
。
[0009]图3是本专利技术实施例提供的基于
Modelica
与强化学习联合仿真的区域供热系统优化控制方法的运用
Q_learning
策略优化环境的流程图
。
[0010]图4是本专利技术实施例提供的基于
Modelica
与强化学习联合仿真的区域供热系统优化控制方法的控制目标为累计耗电量最低情况下的房间温度
。
[0011]图5是本专利技术实施例提供的基于
Modelica
与强化学习联合仿真的区域供热系统优化控制方法的控制目标为累计耗电量最低情况下的二次侧给水泵流量控制信号
。
[0012]图6是本专利技术实施例提供的基于
Modelica
与强化学习联合仿真的区域供热系统优化控制方法的控制目标为累计耗电量最低情况下的电力消耗
。
实施方式
[0013]为了更清楚地了解本专利技术的主题
、
技术方案和优点，下文将结合附图和实施例详细地描述本专利技术
。
需要注意的是，下文描述的具体实施例只是为了解释本专利技术，而不是限定于本专利技术
。
此外，本专利技术的实施例与实施例中的技术特征可以相互结合，只要它们不与之产生冲突即可
。
[0014]基于
Modelica
与强化学习联合仿真的区域供热系统优化控制方法，包括如下步骤：步骤1：如附图1所示，在
Modelica
环境中建立供热系统仿真模型，模型由空气源热泵
、
一次侧泵
、
换热器
、
二次侧泵
、
采用辐射采暖的住宅建筑组成，连接方式为：空气源热泵出口为恒温
45℃
水，经一次侧给水泵调节流量后进入换热器换热给二次侧；换热器二次侧连接辐射散热器，由二次侧给水泵抽取流量完成循环；辐射散热量供暖房屋，房屋建筑模型考虑了室内人员占用率...

【技术保护点】

【技术特征摘要】
1.
基于
Modelica
与强化学习联合仿真的区域供热优化控制方法，其特征在于包括以下步骤：步骤
S1、
建立区域供热系统模型，所述的模型主要包括空气源热泵
、
一次侧给水泵
、
换热器
、
辐射采暖器
、
二次侧给水泵
、
房屋住宅建筑以及室外天气模块，按照系统架构进行连接，对区域供热系统模型进行仿真；步骤
S2、
设置耗电量为优化目标，并在仿真模型中添加与优化相关的输入输出接口，输入接口：设定一次侧给水量，输出接口：热泵的累积耗电量，然后导出功能模拟单元文件；步骤
S3、
在
Python
环境中导入上述的功能模拟单元文件，配置模型输入接口的参数，将接口与导出的功能模拟单元文件相连接；步骤
S4、
构建强化学习的基本框架，主要包括代理与环境，代理即强化学习系统中的主体，负责根据环境状态选择动作，以取得最大化的累积奖励，代理采用
Q_learning
学习算法；环境是指代理生存和行动的外部世界，它会对代理的动作做出反应；环境会给出下一个状态，以及针对代理当前动作的即时奖励；代理是学习主体，环境提供学习场所和反馈信号；步骤
S5、
设置强化学习算法优化所需要的运行参数，包括积极和消极的奖励信号
、
可选行为列表
、
运行代数，并定义房间温度的约束范围，然后通过强化学习代理通过不断探索不同的二次侧给流量，在满足约束的前提下获得最大奖励，最终输出一系列优化后的二次侧给水泵的控制信号
。2.
根据权利要求1所述的基于
Modelica
与强化学习联合仿真的区域供热优化控制方法，其特征在于，所述步骤
S1
中的仿真模型中的各组件均使用
Modelica
的
Buildings
组件库，能够再现区域供热系统的连续稳态运行和瞬态工况变化，使得建立的系统模型能够高保真地反映实际运行情况
。3.
根据权利要求1所述的基于
Modelica
与强化学习联合仿真的区域供热优化控制方法，其特征在于，所述步骤
S1
中的供热系统模型包括但不限于空气源热泵，还包括电站锅炉
、
热电联产的供热设备
。4.
根据权利要求1所述的基于
Modelica<...

【专利技术属性】
技术研发人员：潘利，徐爱国，钱剑杰，陈俊丞，
申请(专利权)人：南京远思智能科技有限公司，
类型：发明
国别省市：