一种基于人工智能的供暖循环泵调节方法技术

本发明专利技术公开了一种基于人工智能的供暖循环泵调节方法，具体步骤包括获取目标压差和目标二网流量以及供暖机组实时在线数据，并对实时数据进行清洗归一化；在线学习强化学习策略模型的预测模型，根据目标压差与实际压差差值或者目标二网流量与实际二网流量差值，在线更新模型的循环泵的频率；确定差值最小并输入预测模型得到循环泵频率，进而进行循环泵调节。本发明专利技术采用的强化学习，通过实时在线学习，循环泵频率和二网压差、二网流量的关系，使二网压差或者二网流量维持一个稳定值，具有很强的泛化能力。利用数据库中的历史数据训练模型，学习到能获得良好结果的策略，然后将实时状态输入模型，输出最优的动作来调节循环泵的频率。率。率。

【技术实现步骤摘要】
一种基于人工智能的供暖循环泵调节方法


[0001]本专利技术涉及居民供暖
，特别涉及一种基于人工智能的供暖循环泵调节方法。

技术介绍

[0002]传统的循环泵频率调节控制方法，基本都是采用自动控制器plc内置pid算法，通过设置采样周期，设定比例、积分、微分三个参数值，使二次管网的压差或者流量维持在一个定值。这种方法，需要专业能力较强的工程师花费大量时间来设置参数，参数设置不会就会造成压差或者流量波动很大，而且参数值的泛化能力很差。
[0003]现有的技术是使用的pid控制算法，对工程师要求比较高，不同的换热站使用的循环泵的型号不同，当电压不稳定，循环泵老化，二次管网老化，对pid参数设置都会造成很大影响，需要工程师定期去更新pid的参数，对于一个热力公司有上千个机组时，这个工作量将是巨大的。

技术实现思路

[0004]本专利技术的目的克服现有技术存在的不足，为实现以上目的，采用一种基于人工智能的供暖循环泵调节方法，以解决上述
技术介绍
中提出的问题。
[0005]一种基于人工智能的供暖循环泵调节方法，具体步骤包括：
[0006]获取目标压差和目标二网流量以及供暖机组实时在线数据，并对实时数据进行清洗归一化；
[0007]在线学习强化学习策略模型的预测模型，根据目标压差与实际压差差值或者目标二网流量与实际二网流量差值，在线更新模型的循环泵的频率；
[0008]确定差值最小并输入预测模型得到循环泵频率，进而进行循环泵调节。
[0009]作为本专利技术的进一步的方案：所述根据根据目标压差与实际压差差值或者目标二网流量与实际二网流量差值，在线更新模型的循环泵的频率的具体步骤包括：
[0010]根据当前时刻压差确定目标压差的公式为：
[0011][0012]或者当前时刻二网流量确定目标二网流量的公式为：
[0013][0014]其中，P
t
为当前时刻压差，P
target
为目标压差，P
Δt
为下一时刻压差，T
t
为当前时刻二网流量，T
target
为目标二网流量，T
Δt
为下一时刻二网流量。
[0015]作为本专利技术的进一步的方案：所述对实时数据进行清洗归一化的具体步骤包括：
[0016]对获取的实时数据进行异常无效数据去除；
[0017]再将数据归一化，并映射到区间(0，1)上。
[0018]作为本专利技术的进一步的方案：所述输入预测模型得到循环泵频率的具体步骤包括：
[0019]通过周期性运行模型，根据实时状态数据，控制循环泵的频率；
[0020]使得预测的二网供压与回压的压差和目标压差一致；或
[0021]使得二网流量与目标流量一致，则获得循环泵频率并进一步调节。
[0022]作为本专利技术的进一步的方案：所述策略网络更新公式为：
[0023][0024][0025][0026]其中，s为环境的状态特征，s
t
为在时间戳t上的状态；a为智能体采取的行为，a
t
表示在时间戳t上的动作；π(a|s)为智能体的决策模型，s为接受输入为状态，p(a|s)表示给出决策后执行动作的概率分布，满足∑
a∈A
π(a|s)，r(a|s)为环境在状态s时接受动作a后给出的反馈信号，在时间戳t上获得的奖励记为r
t
，为值网络输出值。
[0027]作为本专利技术的进一步的方案：所述值网络参数更新公式为：
[0028][0029][0030]其中，表示值网络输出值，dist(a,b)为a和b的距离度量器，采用欧式距离；为的目标值；γ为值网络的学习率；
[0031]采集循环泵的实时运行数据结合模型预测循环泵的输出流量或者泵前泵后的水力的压差目标。
[0032]与现有技术相比，本专利技术存在以下技术效果：
[0033]通过采用上述的技术方案，通过目标压差和目标二网流量以及供暖机组实时在线数据，并对实时数据进行预处理。随着环境的变化，参数要及时更新的繁杂工作。同时可以定期自动更新策略模型，泛化能力很强，能适应环境的变化。不需要过多的人工干预。
附图说明
[0034]下面结合附图，对本专利技术的具体实施方式进行详细描述：
[0035]图1为本申请公开的一些实施例的供暖循环泵调节方法的步骤示意图；
[0036]图2为本申请公开的一些实施例的供暖循环泵调节方法的流程框图。
具体实施方式
[0037]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于
本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0038]请参考图1和图2，本专利技术实施例中，一种基于人工智能的供暖循环泵调节方法，具体步骤包括：
[0039]S1、获取目标压差和目标二网流量以及供暖机组实时在线数据，并对实时数据进行清洗归一化；
[0040]具体的，提取模型需要的实时数据，根据模型要求对获取的实时数据进行异常无效数据去除，并根据采集时间排序，构建时间间隔为1秒的数据；
[0041]再将所有的数据采用max
‑
min归一化处理，并映射到区间(0，1)上。根据数据特征，将样本数据按照70％，20％，10％分成训练集，测试集，验证集。
[0042]S2、在线学习强化学习策略模型的预测模型，根据目标压差与实际压差差值或者目标二网流量与实际二网流量差值，在线更新模型的循环泵的频率；
[0043]具体步骤包括：
[0044]根据当前时刻压差确定目标压差的公式为：
[0045][0046]或者当前时刻二网流量确定目标二网流量的公式为：
[0047][0048]其中，P
t
为当前时刻压差，P
target
为目标压差，P
Δt
为下一时刻压差，T
t
为当前时刻二网流量，T
target
为目标二网流量，T
Δt
为下一时刻二网流量。
[0049]S3、确定差值最小并输入预测模型得到循环泵频率，进而进行循环泵调节。
[0050]具体步骤包括：
[0051]通过周期性运行模型，根据获取循环泵的实时状态数据，进而控制循环泵的频率；
[0052]使得预测的二网供压与回压的压差和目标压差一致；或者使得二网流量与目标流量一致，则获得循环泵频率并进一步调节，这时获得的循环泵的频率，就是模型反推获得的循环泵的频率。
[0053]在一些具体的实施例中，模型的策略网络更新公式为：
[0054][0055][0056][0057]其中，s为环境的状态特征，s
t<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的供暖循环泵调节方法，其特征在于，包括：获取目标压差和目标二网流量以及供暖机组实时在线数据，并对实时数据进行清洗归一化；在线学习强化学习策略模型的预测模型，根据目标压差与实际压差差值或者目标二网流量与实际二网流量差值，在线更新模型的循环泵的频率；确定差值最小并输入预测模型得到循环泵频率，进而进行循环泵调节。2.根据权利要求1所述一种基于人工智能的供暖循环泵调节方法，其特征在于，所述根据根据目标压差与实际压差差值或者目标二网流量与实际二网流量差值，在线更新模型的循环泵的频率的具体步骤包括：根据当前时刻压差确定目标压差的公式为：或者当前时刻二网流量确定目标二网流量的公式为：其中，P
t
为当前时刻压差，P
target
为目标压差，P
Δt
为下一时刻压差，T
t
为当前时刻二网流量，T
target
为目标二网流量，T
Δt
为下一时刻二网流量。3.根据权利要求1所述一种基于人工智能的供暖循环泵调节方法，其特征在于，所述对实时数据进行清洗归一化的具体步骤包括：对获取的实时数据进行异常无效数据去除；再将数据归一化，并映射到区间(0，1)上。4.根据权利要求3所述一种基于人工智能...

【专利技术属性】
技术研发人员：何红伟，钱律求，李红粉，姜帅，
申请(专利权)人：瑞纳智能设备股份有限公司，
类型：发明
国别省市：