一种基于强化学习的间壁式换热器动态仿真模型建模方法技术

本发明专利技术公开一种基于强化学习的间壁式换热器动态仿真模型建模方法，包括：建立换热器动态仿真模型的骨架，使用一组不重复的最基本的换热机理模型建立包括多个表征参数的机理骨架模型；使用强化学习的算法获得表征参数的准确值；拟合换热器关键状态参数和对应的表征参数之间的函数关系，观察误差，从而仅根据换热器模型当前的关键状态参数输出准确的表征参数，从而构建高精度的换热器模型。从而构建高精度的换热器模型。从而构建高精度的换热器模型。

【技术实现步骤摘要】
一种基于强化学习的间壁式换热器动态仿真模型建模方法


[0001]本专利技术涉及能源利用
，具体涉及一种基于强化学习的间壁式换热器动态仿真模型建模方法。

技术介绍

[0002]间壁式换热器广泛应用于能源、动力、石油、冶金、化工、制药等工业系统中，在生产中占有举足轻重的地位，其中间壁式换热器是目前应用最广泛的换热器。换热器对整个系统的稳态和动态性能都有至关重要的影响作用，因此在系统运行过程中对换热器内的重要参数，如温度和压力进行有效的控制是保证系统安全和高效运行的必要条件。高效精准的换热过程控制系统开发，往往是建立在高精度的动态仿真模型基础上的。
[0003]目前对换热器动态仿真模型建立的方法主要分为两种：一种是基于换热机理的建模方法，另一种是基于实验数据的各类模型辨识方法。基于换热机理的建模方法中一般的换热器动态仿真模型都会简化成一维的，最多是二维，否则很难完成面向控制的动态仿真计算。模型辨识的方法在没有训练过的数据集中很难保证模型总是具有很高的精度，而且有时甚至可能会输出偏差非常大的结果。目前两种主要的换热器动态仿真模型建模方法都存在着明显的缺点：机理建模误差较大，计算速度较慢；模型辨识不可解释，适用性和稳定性差。因此本文将提出一种结合两种方法优势的新建模方法以克服目前存在的问题，从而获得一个全工况下高精度，高计算速度，高稳定性的模型。

技术实现思路

[0004]本专利技术的目的在于克服现有技术中的不足，提出一种基于强化学习的间壁式换热器动态仿真模型建模方法，该方法使用一组不重复的最基本的换热机理模型建立包括多个表征参数的机理骨架模型，最大限度减少模型公式的数量，同时使用强化学习的算法来获得这些参数的准确值，解决了间壁式换热器动态仿真模型瞬态过程精度差的问题以及提高了计算速度。
[0005]一种基于强化学习的间壁式换热器动态仿真模型建模方法，包括：
[0006]第一步，建立换热器动态仿真模型的骨架：
[0007]对待建模换热器的实际物理过程设置热源的进出口流量和进口温度、工质的进出口流量和进口温度作为模型的边界条件,对待建模换热器的换热机理模型进行推导得到包括多个表征参数的机理骨架模型，所述表征参数随换热器状态实时变化；其中，所述边界条件为动态数据，即所述边界条件涉及参数的时间序列，任何一侧流体的机理骨架模型方程
具体为：
[0008]其中V,ρ,h,p,α,A,T,C分别代表流体的体积，质量流量，密度，温度，压力，换热系数，换热面积，温度和比热；下标ave，in，out，w分别代表计算平均值，进口，出口和壁面和流体；
[0009]所述计算平均值是指用计算平均温度(即流体进出口温度之和的二分之一)和流体压力计算出的各项流体参数；f1，f2分别代表两侧流体；β1，β2，β3，β4，β5是表征参数；
[0010]第二步，使用强化学习的算法获得表征参数的准确值：
[0011]设置采集工质的出口温度和压力作为学习样本，将推导出的所述表征参数每时每刻的值看作是一个决策变量，即化学习中智能体的动作，推导出的换热器的机理骨架模型作为是环境，模型计算的工质关键状态参数，即出口温度、压力、平均壁温以及它们的变化率作为观察量；采用模型输出的工质出口温度和采集的实际换热器的工质出口温度的误差来构建奖励函数，误差越小，奖励函数的值就越大；其中，所述学习样本为动态实验数据，即温度或压力的时间序列；
[0012]通过用强化学习训练智能体，使智能体每时每刻输出最优的动作策略，即使得模型输出和实际值误差最小的表征参数，获得输入值和输出值的对应关系，其中输入值是换热器关键状态参数和误差，输出值是表征参数；
[0013]第三步：拟合换热器关键状态参数和对应的表征参数之间的函数关系，从而仅根据换热器模型当前的关键状态参数(不再需要输入误差)就可以输出准确的表征参数，从而构建高精度的换热器仿真模型。
[0014]进一步的，所述表征参数包括：β1代表修正计算平均密度对时间的导数，β2代表修正计算平均内能对时间的导数，β3代表修正冷流体与管壁的对流换热量，β4代表修正热流体与管壁的对流换热量，β5代表修正平均壁面温度对时间的导数。
[0015]进一步的，当表征参数通过强化学习的方法进行训练时,其奖励函数是由骨架模型输出的流体压力或出口温度与实际换热器输出的流体压力或出口温度之间的误差构成的。所述奖励函数的特点是，所述误差越小，奖励函数的值越大。
[0016]进一步的，所述强化学习算法采用基于价值的强化学习算法或者基于策略的强化学习算法；第三步中的拟合方法采用多项式拟合或神经网络拟合方法。
[0017]与现有技术相比，本专利技术的技术方案所带来的有益效果是：
[0018]本专利技术使用一组不重复的最基本的换热机理模型作为所述建模方法建立的新模
型的机理骨架模型，保证所述建模方法具有最基本的可解释性和稳定性，同时最大限度减少模型公式的数量，提高计算速度；另一方面，由于机理模型的简化产生了一些难以准确计算的参数，在所述方法中将其称为表征参数，并使用强化学习的算法来获得这些参数的准确值，以满足模型高精度的要求。
附图说明
[0019]图1是本专利技术所述的建模方法的原理图；
[0020]图2示出典型的逆流套管换热器其机理模型示意图；
[0021]图3示出实施例中作为建模对象的边界条件示意图；
[0022]图4是实施例采用的建模方法的计算结果与实验数据的对比。
具体实施方式
[0023]下面结合附图和具体实施例对本专利技术的技术方案作进一步详细描述，所描述的具体的实施例仅对本专利技术进行解释说明，并不用以限制本专利技术。
[0024]如图3所示，本实施例对一个螺旋管换热器采用一种基于强化学习的间壁式换热器动态仿真模型建模方法建立动态仿真模型，所述螺旋管换热器为基本朗肯循环中的蒸发器，热源为热空气，由一个风机通入换热器热侧并排到环境中；冷侧为R245fa工质，液态工质由隔膜泵加压后进入换热器中，加热后的工质变为气态流出换热器在膨胀阀中膨胀，之后进入冷凝器被冷却成液体。本实施例使用一组不重复的最基本的换热机理模型，即所述建模方法的骨架模型方程组(方程17)来建立换热器的动态仿真模型，保证模型具有最基本的可解释性和稳定性，同时最大限度减少模型公式的数量，提高计算速度。热源侧由于空气比热远远小于工质比热，因此采用简单的稳态模型。
[0025]换热器的设计如表1所示。
[0026]表1：换热器中蒸发器的主要设计参数
[0027][0028]如图1所示，具体包括如下步骤：
[0029]第一步，建立换热器动态仿真模型的骨架：基于代码编写平台如matlab或python建立机理骨架模型，建立的所述机理骨架模型为由基本换热机理推导而来的一组不重复的
换热机理模型，包括多个表征参数，其中，所述表征参数随换热器状态实时变化，包括修正计算平均密度对时间的导数，修正计算平均内能对时间的导数，修正冷流体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的间壁式换热器动态仿真模型建模方法，其特征在于，包括：第一步，建立换热器动态仿真模型的骨架对待建模换热器的实际物理过程设置热源的进出口流量和进口温度、工质的进出口流量和进口温度作为模型的边界条件,对待建模换热器的换热机理模型进行推导得到包括多个表征参数的机理骨架模型，所述表征参数随换热器状态实时变化；其中，所述边界条件为动态数据，即所述边界条件涉及参数的时间序列，任何一侧流体的机理骨架模型方程具体为：其中V,ρ,h,p,α,A,T,C分别代表流体的体积，质量流量，密度，温度，压力，换热系数，换热面积，温度和比热；下标ave，in，out，w分别代表计算平均值，进口，出口和壁面和流体；所述计算平均值是指用计算平均温度和流体压力计算出的各项流体参数；f1，f2分别代表两侧流体；β1，β2，β3，β4，β5是表征参数；第二步，使用强化学习的算法获得表征参数的准确值设置采集工质的出口温度和压力作为学习样本，将推导出的所述表征参数每时每刻的值看作是一个决策变量，即化学习中智能体的动作，推导出的换热器的机理骨架模型作为环境，模型计算的工质关键状态参数，即出口温度、压力、平均壁温以及它们的变化率作为观察量；采用模型输出的工质出口温度或压力，和采集的实际换热器的工质出口温度或压力的误差来构建奖励函数，误差越小，奖励函数的值...

【专利技术属性】
技术研发人员：王轩，王瑞，田华，舒歌群，
申请(专利权)人：天津大学，
类型：发明
国别省市：