一种机房设备的控制方法、控制设备及控制系统技术方案

本申请适用于节能技术领域，提供了一种机房设备的控制方法、控制设备及控制系统，所述方法包括：获取机房的环境状态信息；环境状态信息包括室外温度、机房温度及机房内的电子设备的工作状态；将环境状态信息输入预先训练好的深度强化学习网络模型进行处理，得到目标动作置信度向量；其中，目标动作置信度向量用于描述机房设备对应的各个预设动作的价值；根据目标动作置信度向量确定机房设备对应的目标动作；根据目标动作值确定控制策略，并控制机房设备执行控制策略。上述方法综合考虑了室外温度、机房温度以及各种电子设备的工作状态等对机房设备的节能的影响，从而可以准确的对机房设备进行控制，进而提高了机房设备的节能效率。率。率。

【技术实现步骤摘要】
一种机房设备的控制方法、控制设备及控制系统


[0001]本申请属于节能
，尤其涉及一种机房设备的控制方法、控制设备、控制系统及计算机可读存储介质。

技术介绍

[0002]目前，由于机房通常包括大量的温度调节设备(如空调和冷风机)和电子设备(如路由器、交换机及服务器等)等，且上述温度调节设备和电子设备均为大功耗设备，导致机房非常耗能，也影响了上述设备使用寿命。因此，需要对机房内的各式设备进行控制，实现节能的目的。
[0003]然而，现有的机房设备的控制方法通常只是通过机房周围的环境温度对机房的空调进行控制，即现有的机房设备只考虑了温度对机房的空调的影响。由此可见，现有的机房设备的控制方法存在无法准确的对机房中的设备进行控制，导致机房中的设备的节能效率低下的问题。

技术实现思路

[0004]本申请实施例提供了一种机房设备的控制方法、控制设备、控制系统及计算机可读存储介质，可以解决现有的机房设备的控制方法存在无法准确的对机房中的设备进行控制，导致机房设备的节能效率低下的问题。
[0005]第一方面，本申请实施例提供了一种机房设备的控制方法，包括：
[0006]获取机房的环境状态信息；所述环境状态信息包括室外温度、机房温度及所述机房内的电子设备的工作状态；所述电子设备包括路由器、交换机及服务器；
[0007]将所述环境状态信息输入预先训练好的深度强化学习网络模型进行处理，得到机房设备的目标动作置信度向量；其中，所述目标动作置信度向量用于描述所述机房设备对应的各个预设动作的价值；
[0008]根据所述目标动作置信度向量确定所述机房设备对应的目标动作；；
[0009]根据所述目标动作确定控制策略，并控制所述机房设备执行所述控制策略。
[0010]可选的，所述将所述环境状态信息输入预先训练好的深度强化学习网络模型进行处理，得到机房设备的目标动作置信度向量之前，还包括：
[0011]获取历史环境状态信息；
[0012]根据所述历史环境状态信息对预设深度强化学习网络模型进行训练，得到所述训练好的深度强化学习网络模型。
[0013]可选的，所述预设深度强化学习网络模型包括估计网络和目标网络；所述预设深度强化学习网络模型包括估计网络和目标网络；所述根据所述历史环境状态信息对预设深度强化学习网络模型进行训练，得到所述训练好的深度强化学习网络模型，包括：
[0014]对所述估计网络的第一网络参数和所述目标网络的第二网络参数进行初始化操作；
[0015]将所述历史环境状态信息输入所述预设深度强化学习网络模型进行处理，得到状态转移数据；所述状态转移数据包括所述历史环境状态信息、所述历史环境状态信息下的第一动作、执行所述第一动作的目标奖励值及执行所述第一动作后的第二环境状态信息；
[0016]将所述状态转移数据存储至经验池；
[0017]当检测到所述经验池中的状态转移数据的条数满足预设条数时，对所述第一网络参数进行更新；
[0018]每隔预设时间间隔，根据当前时刻的第一网络参数对所述第二网络参数进行更新；
[0019]当检测到所述预设深度强化学习网络模型满足预设条件时，得到所述训练好的深度强化学习网络模型。
[0020]可选的，所述将所述历史环境状态信息输入所述预设深度强化学习网络模型进行处理，得到状态转移数据，包括：
[0021]基于预设贪婪策略确定所述第一动作；
[0022]根据所述第一动作计算所述目标奖励值。
[0023]可选的，所述根据所述第一动作计算所述目标奖励值，包括：
[0024]根据所述第一动作确定所述第二环境状态信息；
[0025]根据所述第二环境状态信息确定所述机房内的工作温度和总功耗；
[0026]根据所述工作温度和总功耗计算所述目标奖励值。
[0027]可选的，所述目标奖励值根据以下公式计算得到：
[0028]R(t)＝
‑
Cost
‑
Time*T
in
[0029]其中，R(t)表示在时刻t下的所述目标奖励值，Cost表示所述总功耗，Time表示时间权重值，T
in
表示所述机房内的工作温度。
[0030]可选的，所述将所述状态转移数据存储至经验池，包括：
[0031]根据所述第一动作确定所述第二环境状态信息；
[0032]当检测到所述第二环境状态信息中的机房温度符合预设条件时，将所述状态转移数据存储至所述经验池。
[0033]第二方面，本申请实施例提供了一种机房设备的控制装置，包括：
[0034]第一获取单元，用于获取机房的环境状态信息；所述环境状态信息包括室外温度、机房温度及所述机房内的电子设备的工作状态；所述电子设备包括路由器、交换机及服务器；
[0035]第一处理单元，用于将所述环境状态信息输入预先训练好的深度强化学习网络模型进行处理，得到机房设备的目标动作置信度向量；其中，所述目标动作置信度向量用于描述所述机房设备对应的各个预设动作的价值；
[0036]第一确定单元，用于根据所述目标动作置信度向量确定所述机房设备对应的目标动作；
[0037]执行单元，用于根据所述目标动作确定控制策略，并控制所述机房设备执行所述控制策略。
[0038]第三方面，本申请实施例提供了一种控制系统，包括：
[0039]采集设备，与控制设备连接，用于采集机房当前时刻的环境状态信息；所述环境状
态信息包括室外温度、机房温度及所述机房内的电子设备的工作状态；所述电子设备包括路由器、交换机及服务器；
[0040]所述控制设备，与机房设备连接，用于执行第一方面任一项所述的机房设备的控制方法的步骤；
[0041]所述机房设备，用于根据所述控制设备的控制策略进行温度调节。
[0042]第四方面，本申请实施例提供了一种控制设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，上述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的机房设备的控制方法的步骤。
[0043]第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的机房设备的控制方法的步骤。
[0044]第六方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在服务器上运行时，使得服务器可执行上述第一方面中任一项所述的机房设备的控制方法。
[0045]本申请实施例与现有技术相比存在的有益效果是：
[0046]本申请实施例提供的一种机房设备的控制方法，通过将获取到的环境状态信息输入预先训练好的深度强化学习网络模型进行处理，得到机房设备的目标动作置信度向量；其中，目标动作置信度向量用于描述机房设备对应的各个预设动作的价值；根据目标动作置信度向量确定机房设备对应的目标动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机房设备的控制方法，其特征在于，包括：获取机房的环境状态信息；所述环境状态信息包括室外温度、机房温度及所述机房内的电子设备的工作状态；所述电子设备包括路由器、交换机及服务器；将所述环境状态信息输入预先训练好的深度强化学习网络模型进行处理，得到机房设备的目标动作置信度向量；其中，所述目标动作置信度向量用于描述所述机房设备对应的各个预设动作的价值；根据所述目标动作置信度向量确定所述机房设备对应的目标动作；根据所述目标动作确定控制策略，并控制所述机房设备执行所述控制策略。2.如权利要求1所述的机房设备的控制方法，其特征在于，所述将所述环境状态信息输入预先训练好的深度强化学习网络模型进行处理，得到机房设备的目标动作置信度向量之前，还包括：获取历史环境状态信息；根据所述历史环境状态信息对预设深度强化学习网络模型进行训练，得到所述训练好的深度强化学习网络模型。3.如权利要求2所述的机房设备的控制方法，其特征在于，所述预设深度强化学习网络模型包括估计网络和目标网络；所述根据所述历史环境状态信息对预设深度强化学习网络模型进行训练，得到所述训练好的深度强化学习网络模型，包括：对所述估计网络的第一网络参数和所述目标网络的第二网络参数进行初始化操作；将所述历史环境状态信息输入所述预设深度强化学习网络模型进行处理，得到状态转移数据；所述状态转移数据包括所述历史环境状态信息、所述历史环境状态信息下的第一动作、执行所述第一动作的目标奖励值及执行所述第一动作后的第二环境状态信息；将所述状态转移数据存储至经验池；当检测到所述经验池中的状态转移数据的条数满足预设条数时，对所述第一网络参数进行更新；每隔预设时间间隔，根据当前时刻的第一网络参数对所述第二网络参数进行更新；当检测到所述预设深度强化学习网络模型满足预设条件时，得到所述训练好的深度强化学习网络模型。4.如权利要求3所述的机房设备的控制方法，其特征在于，所述将所述历史环境状态信息输入所述预设深度强化学习网络模型进行处理，...

【专利技术属性】
技术研发人员：杨术，吴晓峰，常晓磊，宋志斌，吴振洲，
申请(专利权)人：深圳清华大学研究院，
类型：发明
国别省市：