一种用于通过应用自学习控制过程来控制流体输送系统的操作的计算机实现的方法，该方法包括：在在第一时段期间的流体输送系统的操作期间接收获得的多个输入信号的值，其中，在第一时段期间的流体输送系统的操作由预定控制过程控制；基于接收的获得的多个输入信号的值自动地选择所述多个输入信号的子集；在第二时段期间的流体输送系统的操作期间接收获得的至少选择的输入信号的子集的值，其中，通过应用自学习控制过程来控制在第二时段期间的流体输送系统的操作，其中，自学习控制过程被配置为仅基于选择的输入信号的子集来控制所述流体输送系统的操作，并且其中，应用自学习控制过程包括基于接收的获得的选择的输入信号的子集的值并且至少基于性能指标函数的近似来更新自学习控制过程。似来更新自学习控制过程。似来更新自学习控制过程。
【技术实现步骤摘要】
【国外来华专利技术】用于控制流体输送系统的方法和系统
[0001]本公开涉及一种用于控制诸如加热系统、供水系统、废水系统等的流体输送系统的方法和系统。
技术介绍
[0002]在诸如用于建筑物和区域加热网络的HVAC系统的加热系统中，以尽可能低的成本操作同时仍然为最终用户提供良好的舒适性是几十年来一直致力于解决的问题。但是问题是复杂的，并且在许多现有系统中采用了常规工业控制器。
[0003]先前已经尝试了开发可以在具有较多数据的生态系统中使用的控制方法，参见例如EP2807527或Gianluca Serale、Massimo Fiorentini、Alfonso Capozzoli、Daniele Bernardini和Alberto Bemporad的《用于提高建筑物和HVAC系统能源效率的模型预测控制(MPC)：问题公式化、应用与机会》，Energies 2018年11月。这些现有技术控制方法基于模型，并且特别地，使用模型预测控制(MPC)框架。然而，这需要用于建筑物或用于区域加热网络中的消费者的适当的模型结构。由于建筑物与建筑物之间或区域加热网络与区域加热网络之间的差异，这种模型不容易获得。特别地，这种差异可能与所涉及的负载的差异、可用数据点的差异、结构细节的差异等相关。因此，每个控制系统可能必须由适当的专家基于特定系统的后验知识来逐个手动地配置。
[0004]已经出现了连接至诸如互联网的数据网络的诸如IoT装置的越来越多的装置，由此获得了对装置数据点的增加的访问。因此，大的数据点池可用于改进HVAC系统和区域加热网络的控制，特别是用于为终端用户提供以良好的舒适性来进行操作的系统，同时保持操作成本尽可能低。最近，在尝试降低对逐个手动配置的需要下，提出了数据驱动的(即，无模型的)控制方法。
[0005]在第13届REHVA世界大会CLIMA 2019的论文集中Overgaard、J.D.Bendtsen和B.K.Nielsen的《使用强化学习的混合回路控制》中描述了在用于控制液体循环加热系统中的温度和压力的混合回路的背景下称为Q学习的强化学习方法的研究。
[0006]虽然以上研究已经表明，提出的方法比一些商用工业控制器表现得更好，但是强化学习的实际应用涉及许多挑战。
[0007]增强代理通常需要长的训练时间以达到足够高或甚至可接受控制质量。此外，加热系统可以根据安装而显著地变化。这降低了从通用模型获得的结果对单独安装的适用性。
[0008]因此，仍然希望提供一种用于控制流体输送系统的方法，该用于控制流体输送系统的方法部分地或完全地解决以上问题中的一个或多个问题和/或提供其他益处。
技术实现思路
[0009]根据一个方面，本文公开了一种计算机实现的方法的实施例，该方法用于通过应用自学习控制过程来控制流体输送系统的操作，该方法包括：
[0010]‑
在第一时段期间的流体输送系统的操作期间，接收获得的多个输入信号的值，其中，在第一时段期间的流体输送系统的操作由预定控制过程控制，
[0011]‑
基于接收的获得的多个输入信号的值，自动地选择多个输入信号的子集，
[0012]‑
在第二时段期间的流体输送系统的操作期间，接收获得的至少选择的输入信号的子集的值，其中，通过应用自学习控制过程来控制在第二时段期间的流体输送系统的操作，其中，自学习控制过程被配置为仅基于选择的输入信号的子集来控制流体输送系统的操作，并且其中，应用自学习控制过程包括基于接收的获得的选择的输入信号的子集的值并且至少基于性能指标函数的近似来更新自学习控制过程。
[0013]因此，本文公开的过程的实施例通过应用在操作期间，例如，连续地或间歇地更新的自学习过程来控制流体输送系统。基于输入信号并且基于性能指标函数或至少基于其近似来更新。由于对自学习控制过程的输入信号被自动地选择为来自多个可用输入信号的子集，因此可以有效地管理潜在的大量可用输入信号。通过使自学习控制过程仅基于选择的输入信号的子集，可以显著地减少产生性能指标函数的期望值的更新过程需要的时间，特别是产生性能指标函数的至少接近最优值的更新过程需要的时间。自动选择输入信号的子集是基于接收的多个输入信号的值，所述多个输入信号的值在由预定控制过程控制流体输送系统的同时已经被接收。因此，该过程能够选择与自学习过程的更新具有高相关性的输入信号的子集，从而促进更新过程的快速收敛。此外，由于输入信号的子集是从在流体输送系统的操作期间可获得的多个输入信号中选择的，因此本文公开的过程的实施例可以有效地应用于不同类型的流体输送系统，并且提供各种类型的流体输送系统的高质量控制。
[0014]在本文中描述的方法的实施例是数据驱动的，并且不严重地依赖于要控制的流体输送系统的模型。特别地，自动选择输入信号可以是数据驱动的。此外，如果对配置控制过程的后验域知识的需要没有完全消除，那么也极大地被减少了。
[0015]通常，流体输送系统的示例包括利用流体作为传热介质的系统，诸如加热和/或冷却系统，特别是用于一个或多个建筑物的加热和/或冷却系统。因此，流体输送系统的示例包括液体循环系统、加热和/或通风和/或空调系统——也称为HVAC系统。流体输送系统的其他示例包括区域供热系统。区域供热系统可以包括区域加热网络，所述区域加热网络包括用于各个建筑物的多个供热系统。流体输送系统的又一示例包括流体供应系统或流体处置系统，例如，供水系统或废水系统。由流体输送系统输送的流体的示例包括液体，诸如水或含水的液体，例如，废水或包括大部分水和小部分其他组分的液体。流体的其他示例包括其他形式的液体或气体加热或冷却剂。流体的其他示例包括空气或其他气体。
[0016]通常，每个控制过程(即预定控制过程和自学习控制过程)可以通过控制流体输送系统的一个或多个可控的控制变量来控制流体输送系统的操作。可控控制参量的示例包括阀设置(特别是阀打开程度)、温度设定点、泵压力设定点或泵速度设定点、阻尼器的打开程度和/或风扇速度等。通常，每个控制过程(即预定控制过程和自学习控制过程)可以响应于一个或多个输入信号来控制流体输送系统，特别是流体输送系统的一个或多个控制变量。为此，每个控制过程可以实施各自的控制策略，所述各自的控制策略确定如何响应于输入信号来控制流体输送系统，特别是如何响应于输入信号来控制流体输送系统的控制变量。
[0017]预定控制过程可以实施预定控制策略，例如，基于模型和/或基于规则的控制策略，例如，前馈控制、反馈控制、固定设定点例程和/或另一常规控制过程。特别地，预定控制
过程可以实施非自适应(non
‑
adaptive)控制策略，即由预定控制过程应用的控制策略在第一时段期间可以是静态的，即不改变。因此，自学习控制过程的初始配置，特别是输入信号的选择，既不需要对要控制的特定流体输送系统的广泛专业知识，也不需要在由要配置的自学习控制过程控制时关于流体输送系统的性能的数据。相反，可以收集用于选择输入信号的数据，同时由另一合适的控制过程控制流体输送本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，用于通过应用自学习控制过程来控制流体输送系统的操作，所述方法包括：
‑
在第一时段期间的所述流体输送系统的操作期间，接收获得的多个输入信号的值，其中，在所述第一时段期间的所述流体输送系统的操作由预定控制过程控制，
‑
基于接收的所述获得的多个输入信号的值，自动地选择所述多个输入信号的子集，
‑
在第二时段期间的所述流体输送系统的操作期间，接收获得的至少选择的输入信号的子集的值，其中，通过应用所述自学习控制过程来控制在所述第二时段期间的所述流体输送系统的操作，其中，所述自学习控制过程被配置为仅基于所述选择的输入信号的子集来控制所述流体输送系统的操作，并且其中，应用所述自学习控制过程包括基于接收的获得的所述选择的输入信号的子集的值并且至少基于性能指标函数的近似来更新所述自学习控制过程。2.根据权利要求1所述的计算机实现的方法，其中，所述预定控制过程是非自适应控制过程。3.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述多个输入信号定义具有第一维数的输入空间；其中，所述选择的输入信号的子集定义具有减少的维数的减少的输入空间，所述减少的维数小于所述第一维数。4.根据前述权利要求中任一项所述的计算机实现的方法，其中，自动地选择包括应用一个或多个信息理论选择标准。5.根据权利要求4所述的计算机实现的方法，其中，所述一个或多个信息理论选择标准包括互信息标准，所述互信息标准基于所述多个输入信号中的各个输入信号与观察的性能测量之间的确定的互信息测量。6.根据权利要求5所述的计算机实现的方法，其中，所述观察的性能测量包括在多个时间评估的至少一个观察的性能指标，可选地，实现性能指标值的依赖于时间的加权，特别是依赖于所述流体输送系统中的流体流的速率的依赖于时间的加权。7.根据前述权利要求中任一项所述的计算机实现的方法，其中，自动地选择包括选择与时移延迟相关联的至少一个输入信号，特别是选择与依赖于所述流体输送系统中的流体流的流速的可变时移延迟相关联的至少一个输入信号。8.根据前述权利要求中任一项所述的计算机实现的方法，包括，基于所述选择的输入信号的子集来配置所述自学习控制过程的初始版本；其中，配置所述自学习控制过程的初始版本包括基于在所述第一时段期间的接收的所述获得的多个输入信号的值并且基于在所述第一时段期间的所述流体输送系统的操作期间记录的性能指标值，预训练所述自学习控制过程的初始版本。9.根据权利要求8所述的计算机实现的方法；其中，自动选择和所述自学习控制过程的初始版本的配置在过渡时段期间执行，所述过渡时段在所述第一时段之后并且在所述第二时段之前。10.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述自学习控制过程实现基于奖励的学习代理。11.根据权利要求10所述的计算机实现的方法，其中，所述基于奖励的学习代理是强化学习代理。
12.根据权利要求10或11所述的计算机实现的方法，其中，基于一个或多个观察的性能指标来更新所述自学习控制过程，所述一个或多个观...
【专利技术属性】
技术研发人员：A，
申请(专利权)人：格兰富控股公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。