一种基于强化学习的空调系统负荷分配方法技术方案

本发明专利技术公开了一种基于强化学习的空调系统负荷分配方法，包括以下步骤：S1、采集空调系统数据参数；S2、通过强化学习算法建立冷机智能体，确定智能体的状态变量和动作变量；S3、强化学习控制器接收当前状态信息后，求解最后的控制策略。本发明专利技术的负荷分配调控方法无需在实际部署过程中建立准确的中央空调系统模型，只需使用单个代理即可控制冷机系统负荷分配，能够依赖少量的历史数据，在短时间内训练出一个高效准确的控制策略，降低不必要的制冷量，减少冷机的工作负荷，提高使用寿命并降低故障率，使整个中央空调系统能耗甚至建筑总能耗大大降低。大降低。大降低。

【技术实现步骤摘要】
一种基于强化学习的空调系统负荷分配方法


[0001]本专利技术涉及空调系统控制
，具体涉及一种基于强化学习的空调系统负荷分配方法。

技术介绍

[0002]在楼宇空调系统的总能耗中，一般来说，冷机的能耗通常占空调系统的总能耗的40％以上，多数情况下建筑的空调系统由多机组组成，空调系统的选型设计一般会按最大负荷设计，然而多数的情况是空调负荷小于其设计的负荷，其部分负荷能耗与其本身的特性以及负荷分配有关，在部分负荷下空调系统存在多机组的负荷分配不合理情况，会降低空调系统的整体效率水平。为了使空调系统在部分负荷运行时达到降低能耗的效果，在确定冷机选型后，楼宇空调系统的控制通常会在恒定供水温度之下，采用等比例分配，机组优先级等优化逻辑策略，但上述楼宇空调系统的控制方法仅仅实现了出水水温控制和简单优化，未从全局上控制优化空调系统的运行，导致空调系统的整体性能较差，能耗较高，并且优化速度较慢，不能适用于具有实时性需求的现场。因此，如何合理分配各冷机承担的冷负荷，尽可能降低系统总能耗已成为节能降耗的关键。
[0003]已有部分专利提出了冷水机组负荷分配控制方法。专利CN202211288740.0公开的“并联冷机系统的负荷分配控制方法、系统、设备及介质”采用改进的麻雀搜索算法，对并联冷机系统的负荷分配进行寻优计算，最终获得最佳的负荷分配控制结果。但该方法利用智能寻优算法需借助准确的冷机模型，而实际工程中很难获得较准确的冷机模型，因此该方法在实际项目中落地门槛较高。
[0004]本专利技术涉及的一种基于强化学习的空调系统负荷分配方法，无需建立冷机模型，属于无模型优化控制，基于强化学习算法能直接获得最佳的负荷分配控制结果，在实际项目中落地门槛较低。

技术实现思路

[0005]1.所要解决的技术问题：
[0006]针对上述技术问题，本专利技术提供一种基于强化学习的空调系统负荷分配方法。
[0007]2.技术方案：
[0008]一种基于强化学习的空调系统负荷分配方法，包括以下步骤：
[0009]S1、采集空调系统数据参数；
[0010]S2、通过强化学习算法建立冷机智能体，确定智能体的状态变量和动作变量；
[0011]S3、强化学习控制器接收当前状态信息后，求解最后的控制策略。
[0012]进一步地，S3的求解过程包括：
[0013]S3.1：读取环境信息；
[0014]S3.2：执行动作并计算执行动作的奖励值；
[0015]S3.3：进行智能学习过程，输出智能体当前状态下对应的下一步动作信号，计算冷
机的冷冻水出水温度优化设定值；
[0016]S3.4：空调系统与环境交互后获得新的环境信息，重复步骤3.1
‑
3.3实现闭环。
[0017]进一步地，所述空调系统数据包括冷冻水供水温度T
chws
、冷冻水回水温度T
chwr
、冷冻水泵流量F
chw
、冷却水泵流量F
cw
、冷却水出水温度T
cws
、冷却水回水温度T
cwr
、系统总冷负荷CL和第i台冷机的运行功率P
chiller，i
。
[0018]进一步地，所述智能体的状态变量s＝[CL]；智能体的动作变量a＝[CL
i
/CL]。
[0019]进一步地，所述S3.2中执行动作的奖励值根据公式1进行计算：
[0020][0021]进一步地，所述S3.3中智能学习过程包括按照设定系数考虑未来系列状态对当前选择的累计影响，综合当前动作获得的即时奖励和未来状态的累计奖励，得到智能体不同状态和不同动作的评价值Q，体现为公式2：
[0022][0023]其中：NewQ(s，a)表示对应状态s和动作a时执行下一轮优化周期结束后更新的Q值；R(s，a)表示对应状态s和动作a时的奖励值，即上一轮优化周期结束后的奖励值，由公式1获得；Q(s，a)表示对应状态s和动作a时的Q值，即上一轮优化周期结束后的Q值，max
a
′
Q(s
′
，a
′
)表示当前状态s
′
和动作a
′
时的各个Q值的最大值；α表示学习率；γ表示折算系数；优选地，α＝0.9；γ＝0.5。
[0024]进一步地，所述S3.3中输出智能体当前状态下对应的下一步动作信号的具体步骤为：根据智能体不同状态和不同动作的评价值，即Q值，按照贪婪策略，选择评价值最大的动作作为输出动作信号，选择评价值非最大的动作作为种子，具体体现为公式3：
[0025][0026]其中：A表示智能体当前状态下对应的下一步动作；ε表示设定的贪婪值，0＜ε≤1；α
′
，α
″
均表示计算机生成的伪随机数0＜α
′
≤1，0＜α
″
≤1。优选地，0.5＜ε≤1。
[0027]进一步地，计算动作A后，再利用公式4，计算每台冷机的冷冻水出水温度优化设定值：
[0028][0029]其中：T
chws，j，set
为第j台冷机的冷冻水出水温度优化设定点；T
chwr，ref
为目标系统的名义回水温度；CL为系统总冷负荷；C
P
为水的比热容；ρ为水的密度；F
chw，j
为第j台冷机的冷冻水流量。
[0030]3.有益效果：
[0031]本专利技术的负荷分配调控方法无需在实际部署过程中建立准确的中央空调系统模型，只需使用单个代理即可控制冷机系统负荷分配，能够依赖少量的历史数据，在短时间内训练出一个高效准确的控制策略，降低不必要的制冷量，减少冷机的工作负荷，提高使用寿命并降低故障率，使整个中央空调系统能耗甚至建筑总能耗大大降低。
附图说明
[0032]图1为本专利技术实施例空调系统中冷机、冷却水泵、和冷却塔的布局示意图；
[0033]图2为本专利技术实施例基于强化学习的空调系统负荷分配方法的工作流程图；
[0034]图3为本专利技术实施例智能体控制冷机的流程图。
具体实施方式
[0035]下面结合附图对本专利技术进行具体的说明。
[0036]如附图1至附图3所示，
[0037]具体实施例：
[0038]一种基于强化学习的空调系统负荷分配方法，包括以下步骤：
[0039]S1、采集空调系统数据参数；
[0040]S2、通过强化学习算法建立冷机智能体，确定智能体的状态变量和动作变量；
[0041]S3、强化学习控制器接收当前状态信息后，求解最后的控制策略。
[0042]本实施例在满足空调系统末端冷负荷需求条件下，将运行中的冷机的整体总能耗最低作为优化目标，将冷机系统中每台冷机的负荷占系统总冷负荷的比例作为动作；冷机负荷分配通过一个强化学习控制器实现。
...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的空调系统负荷分配方法，其特征在于，包括以下步骤：S1、采集空调系统数据参数；S2、通过强化学习算法建立冷机智能体，确定智能体的状态变量和动作变量；S3、强化学习控制器接收当前状态信息后，求解最后的控制策略。2.根据权利要求1所述的一种基于强化学习的空调系统负荷分配方法，其特征在于，S3的求解过程包括：S3.1：读取环境信息；S3.2：执行动作并计算执行动作的奖励值；S3.3：进行智能学习过程，输出智能体在当前状态下对应的下一步动作信号，计算冷机的冷冻水出水温度优化设定值；S3.4：空调系统与环境交互后获得新的环境信息，重复步骤3.1
‑
3.3实现闭环。3.根据权利要求1或2所述的一种基于强化学习的空调系统负荷分配方法，其特征在于，所述空调系统数据包括冷冻水供水温度T
chws
、冷冻水回水温度T
chwr
、冷冻水泵流量F
chw
、冷却水泵流量F
cw
、冷却水出水温度T
cws
、冷却水回水温度T
cwr
、系统总冷负荷CL和第i台冷机的运行功率P
chiller，i
。4.根据权利要求3所述的一种基于强化学习的空调系统负荷分配方法，其特征在于，所述智能体的状态变量s＝[CL]；智能体的动作变量a＝[CL
i
/CL]。5.根据权利要求4所述的一种基于强化学习的空调系统负荷分配方法，其特征在于，所述S3.2中执行动作的奖励值根据公式1进行计算：6.根据权利要求5所述的一种基于强化学习的空调系统负荷分配方法，其特征在于，所述S3.3中智能学习过程包括按照设定系数考虑未来系列状态对当前选择的累计影响，综合当前动作获得的即时奖励和未来状态的累计奖励，得到智能体不同状态和不同动作的评价值Q，体现为公式2：NewQ(s，a)
←
Q(s，a)+a[R(s，a)+γmax
a
′
Q(s
...

【专利技术属性】
技术研发人员：刘然，邱兰兰，
申请(专利权)人：南京亚派软件技术有限公司，
类型：发明
国别省市：