一种基于强化学习的末端精密空调优化控制方法及系统技术方案

本发明专利技术提出了一种基于强化学习的末端精密空调优化控制方法及系统，涉及机房空调控制领域。一种基于强化学习的末端精密空调优化控制方法包括：获取预设时间内数据中心机房设备样本数据，根据获取到的样本数据，提取子样本序列集合；通过样本数据构建热负载和制冷设备之间的关系模型，生成热平衡方程；根据子样本序列集合，利用EM算法对热平衡方程进行求解得到系统热平衡的作用系数；定义优化目标函数，并利用强化学习方法求解空调的控制参数。此外本发明专利技术还提出了一种基于强化学习的末端精密空调优化控制系统，包括：数据收集及子样本序列提取模块、热平衡方程生成模块、热平衡方程求解模块以及优化目标函数定义及空调控制参数求解模块。数求解模块。数求解模块。

【技术实现步骤摘要】
一种基于强化学习的末端精密空调优化控制方法及系统


[0001]本专利技术涉及机房空调控制领域，具体而言，涉及一种基于强化学习的末端精密空调优化控制方法及系统。

技术介绍

[0002]数据中心机房需要借助精密空调将温度控制在适当的范围内，才能保证服务器和存储器机架正常工作。精密空调是指能够充分满足机房环境条件要求的机房专用精密空调机，精密空调系统的设计是为了使机房温度保持在适宜的区间内，并且具有高可靠性、可维修性、组装灵活性和冗余性，可以保证空调在一年四季都可正常运行。
[0003]现有技术主要通过空调自身的PID控制来调整输出以更好的控制环境温度。一般的，是根据回风道温感温度来结合PID参数，对于风机和水阀的参数进行控制，主要存在以下几点问题：（1）PID控制存在滞后性，对冷热点响应慢，无法及时根据机房温度变化对空调进行调整；（2）PID控制只是基于单一测温点进行控制，没有考虑机房全局情况，难以达到预期调控效果；（3）PID参数需要人频范调整，且为了预留一定的波动空间，通常对于风量和冷冻水存在着过量使用的情况，造成了能源的浪费。

技术实现思路

[0004]本专利技术的目的在于提供一种基于强化学习的末端精密空调优化控制方法，其能够根据求解到空调的控制参数对末端精密空调进行优化控制，避免人工干预，实现自动化控制，保障机房设备正常运行的同时最大限度的降低空调能耗，满足数据中心运营要求。
[0005]本专利技术的另一目的在于提供一种基于强化学习的末端精密空调优化控制系统，其能够运行一种基于强化学习的末端精密空调优化控制方法。
[0006]本专利技术的实施例是这样实现的：第一方面，本申请实施例提供一种基于强化学习的末端精密空调优化控制方法，其包括获取预设时间内数据中心机房设备样本数据，根据获取到的样本数据，提取子样本序列集合；通过样本数据构建热负载和制冷设备之间的关系模型，生成热平衡方程；根据子样本序列集合，利用EM算法对热平衡方程进行求解得到系统热平衡的作用系数；定义优化目标函数，并利用强化学习方法求解空调的控制参数。
[0007]在本专利技术的一些实施例中，上述获取预设时间内数据中心机房设备样本数据的方法包括以下步骤：通过传感器获取预设时间内数据中心机房设备的设备控制参数和温度数据。
[0008]在本专利技术的一些实施例中，上述根据获取到的样本数据，提取子样本序列集合方法包括以下步骤：根据获取到的样本数据，取每个时刻向前预设时间段内的数据，生成子样
本序列集合。
[0009]在本专利技术的一些实施例中，上述热平衡方程表达式包括：其中，t表示当前时刻；x表示发热设备，如机柜等的发热情况；u表示制冷设备的制冷情况； A
k
、B
k
分别表示过去T时间段内的各个时刻发热设备、制冷设备对于系统热平衡的作用系数；X
t
表示当前时刻机房内热量变化情况，即表示当前时刻机房内热量变化是过去T时间段内制冷系统与发热设备共同作用的结果。
[0010]在本专利技术的一些实施例中，上述根据子样本序列集合，利用EM算法对热平衡方程进行求解得到系统热平衡的作用系数包括以下步骤：核心似然函数定义如下其中，θ为待求解的A
k
、B
k
（1≤k≤T），y、z分别表示相对T时间段内的第k个时刻的发热或制冷设备对应的设备控制参数、设备温度；N为第N个子样本序列。
[0011]在本专利技术的一些实施例中，上述定义优化目标函数定义包括：其中，s表示机房内各个传感器温感的集合，c表示机房内空调的集合，x表示温度，u表示空调控制参数，X
sp
表示机房温度目标值，u
min
表示空调控制参数可调节范围的最小值，q、r分别表示该传感器温感数据、空调制冷情况对于机房整体的重要程度。
[0012]在本专利技术的一些实施例中，上述利用强化学习方法求解空调的控制参数方法包括以下步骤：Agent选择一个动作用于环境，环境接受该动作后状态发生变化，同时产生一个强化信号反馈给Agent，Agent根据强化信号和环境当前状态再选择下一个动作，选择的原则是使受到正强化的概率增大。
[0013]在本专利技术的一些实施例中，上述还包括：选择的动作影响立即强化值，并影响环境下一时刻的状态以及最终的强化值。
[0014]第二方面，本申请实施例提供一种基于强化学习的末端精密空调优化控制系统，其包括数据收集及子样本序列提取模块，用于获取预设时间内数据中心机房设备样本数据，根据获取到的样本数据，提取子样本序列集合；热平衡方程生成模块，用于通过样本数据构建热负载和制冷设备之间的关系模型，生成热平衡方程；热平衡方程求解模块，用于根据子样本序列集合，利用EM算法对热平衡方程进行求解得到系统热平衡的作用系数；优化目标函数定义及空调控制参数求解模块，用于定义优化目标函数，并利用强化学习方法求解空调的控制参数。
[0015]在本专利技术的一些实施例中，上述包括：用于存储计算机指令的至少一个存储器；与上述存储器通讯的至少一个处理器，其中当上述至少一个处理器执行上述计算机指令时，
上述至少一个处理器使上述系统执行：数据收集及子样本序列提取模块、热平衡方程生成模块、热平衡方程求解模块以及优化目标函数定义及空调控制参数求解模块。
[0016]相对于现有技术，本专利技术的实施例至少具有如下优点或有益效果：其能够根据求解到空调的控制参数对末端精密空调进行优化控制，避免人工干预，实现自动化控制，保障机房设备正常运行的同时最大限度的降低空调能耗，满足数据中心运营要求。用空调的控制参数表示动作，用空调参数调节后对机房内热平衡的影响表示环境状态变化，用最小化目标函数值表示动作选择的原则；由此利用强化学习求解即可得到M个机房的所有空调在未来L时刻内，每个时刻的控制参数。对系统进行精确的辨识，对于控制对象的热负载进行精确的定量计算；对于末端精密空调进行优化控制，最大程度降低时间和空间的能耗，并且满足数据中心运营要求；避免人工干预，实现控制自动化。
附图说明
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0018]图1为本专利技术实施例提供的一种基于强化学习的末端精密空调优化控制方法步骤示意图；图2为本专利技术实施例提供的一种基于强化学习的末端精密空调优化控制系统模块示意图。
[0019]图标：100
‑
数据收集及子样本序列提取模块；200
‑
热平衡方程生成模块；300
‑
热平衡方程求解模块；400
‑
优化目标函数定义及空调控制参数求解模块。
具体实施方式
[0020]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的末端精密空调优化控制方法，其特征在于，包括：获取预设时间内数据中心机房设备样本数据，根据获取到的样本数据，提取子样本序列集合；通过样本数据构建热负载和制冷设备之间的关系模型，生成热平衡方程；根据子样本序列集合，利用EM算法对热平衡方程进行求解得到系统热平衡的作用系数；定义优化目标函数，并利用强化学习方法求解空调的控制参数。2.如权利要求1所述的一种基于强化学习的末端精密空调优化控制方法，其特征在于，所述获取预设时间内数据中心机房设备样本数据的方法包括以下步骤：通过传感器获取预设时间内数据中心机房设备的设备控制参数和温度数据。3.如权利要求1所述的一种基于强化学习的末端精密空调优化控制方法，其特征在于，所述根据获取到的样本数据，提取子样本序列集合方法包括以下步骤：根据获取到的样本数据，取每个时刻向前预设时间段内的数据，生成子样本序列集合。4.如权利要求1所述的一种基于强化学习的末端精密空调优化控制方法，其特征在于，所述热平衡方程表达式包括：其中，t表示当前时刻；x表示发热设备，如机柜等的发热情况；u表示制冷设备的制冷情况；A
k
、B
k
分别表示过去T时间段内的各个时刻发热设备、制冷设备对于系统热平衡的作用系数；X
t
表示当前时刻机房内热量变化情况，即表示当前时刻机房内热量变化是过去T时间段内制冷系统与发热设备共同作用的结果。5.如权利要求1所述的一种基于强化学习的末端精密空调优化控制方法，其特征在于，所述根据子样本序列集合，利用EM算法对热平衡方程进行求解得到系统热平衡的作用系数包括以下步骤：核心似然函数定义如下其中，p表示概率，l表示似然函数，θ为待求解的A
k
、B
k
（1≤k≤T），y、z分别表示相对T时间段内的第k个时刻的发热或制冷设备对应的设备控制参数、设备温度；N为第N个子样本序列。6.如权利要求1所述的一种基...

【专利技术属性】
技术研发人员：杨鹏，杨波，
申请(专利权)人：南京群顶科技有限公司，
类型：发明
国别省市：