一种基于强化学习的数据中心能效优化方法和系统技术方案

本发明专利技术公开了一种基于强化学习的数据中心能效优化方法和系统，属于云计算技术领域。本发明专利技术的一种基于强化学习的数据中心能效优化方法和系统，所述数据中心能效优化系统由数据集成管控系统、IDC动环监控系统和DRL中心模型系统组成。为解决现有数据中心能耗优化方法中存在的能效优化低、成本高的问题，采用一种离线强化学习的方式,通过设计初始的控制策略,记录系统在运行初始策略下的数据，其中包括状态,行动,奖励,并使用标准强化学习/函数模拟组合来学习一个价值函数,用以估算某个状态下采取特定行动对应的累计期望奖励，来获得预测的PUE值。预测的PUE值。预测的PUE值。

【技术实现步骤摘要】
一种基于强化学习的数据中心能效优化方法和系统


[0001]本专利技术涉及云计算
，具体为一种基于强化学习的数据中心能效优化方法和系统。

技术介绍

[0002]数据中心是计算机服务器大量存放的建筑场所，它的快速建设保证了信息技术的飞速发展，带来了大量的经济效益；伴随着其建设程度的加深，数据中心带来的能耗问题也愈发严重。数据中心内部的服务器和制冷系统耗电量巨大，由于缺乏科学有效的调控措施，造成了很多的能源浪费；本文针对一类大型的数据中心，分析其能耗构成，对其制冷系统进行能耗优化；
[0003]冷却能量优化是一项具有挑战性的任务，因为它涉及到复杂的冷却系统的控制，该系统由多个部件组成，如冷却塔、冷水机组、通风系统等。在直流冷却系统控制中，一种常见的做法是调整设定值，即不同控制变量的目标值。例如，通过将空调出口的温度控制变量设置为所需值，空调可以通过消耗一定的能量来调整其内部状态，使其满足设定值；这些设定值的最佳选择可能是具有挑战性的，因为这个过程依赖于从热动力学到力学的冷却系统知识。
[0004]现有数据中心能耗优化方法中存在的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的数据中心能效优化系统，其特征在于，所述数据中心能效优化系统由数据集成管控系统、IDC动环监控系统和DRL中心模型系统组成；数据集成管控系统通过对数据中心总体架构、设备组成与分布、IT设备部署进行分析，分析数据中心能耗组成、占比情况，并对影响能耗的因素进行逐一梳理；在得到数据中心设备能耗组成与环境条件后，对设备间、设备与环境间的关联和影响关系进行分析，随后将数据整合后发送至IDC动环监控系统；IDC动环监控系统是通过能耗模型服务于数据中心能耗管理，建模完成后对数据中心能耗情况进行预测；能耗数据采集完成温度、负载、IT设备、UPS、空调环境信息与设备状态的实时数据采集；DRL中心模型系统通过对能耗组成和关联情况的分析，并结合数据中心能耗数据采集和设备自动化控制方面的因素，从数据中心总体、子系统、设备三个层级，综合选择适用于数据中心能耗建模、易于数据中心能耗优化的模型；其中，能耗模型会根据数据中心实际情况和三个层级各自的特点，分别选择聚类、线性回归、深度学习挖掘方法，模型和数据选择完成后，对模型的训练。2.根据权利要求1所述的一种基于强化学习的数据中心能效优化系统，其特征在于：所述数据集成管控系统包括总体架构单元、设备部署单元、功能特性单元、环境数据单元、配置数据单元和运行数据单元。3.根据权利要求2所述的一种基于强化学习的数据中心能效优化系统，其特征在于：所述功能特性单元、环境数据单元、配置数据单元和运行数据单元分别与总体架构单元和设备部署单元之间交互，收集当前架构内部所有设备的数据情况。4.根据权利要求1所述的一种基于强化学习的数据中心能效优化系统，其特征在于：所述IDC动环监控系统包括能耗监控模块、能耗预测模块和能耗调优模块。5.根据权利要求4所述的一种基于强化学习的数据中心能效优化系统，其特征在于：所述能耗监控模块包括以下方面：IT设备运行与负载情况、数据中心硬件设备能耗数据和非IT类设备状态信息，数据中心能耗模型的建立依赖于数据中心监控数据的获取。6.根据权利要求1所述的一种基于强化学习的数据中心能效优化系统，其特征在于：所述DRL中心模型系统包括总体模型、子系统模型、设备模型，其中还包括模型训练模块、参数调优模块和模型验证模块。7.根据权利要求6所述的一种基于强化学习的数据中心能效优化系统，其特征在于：所述模型训练模块对总体模型、子系统模型和设备模型进行调试训练，其中，参数调优模块和模型验证模块在调试过程中针对模型的训练计划以及训练数据进行不断的验证和优化。8.一种基于强化学习的数据中心能效优化方法，基于权利要求1
‑
7任意一项基于强化学习的数据中心能效优化系统实现，其中，包括如下步骤：步骤一：收集数据中心小机房的数据，其机房采用模块化UPS，列间空调，小机房两个冷通道，四十个机柜，小机房列间空调采用冷冻水作为冷源，用来预算制冷主机的功率；步骤二：IDC动环监控系统包括对机房的市电以及UPS和温湿度、漏水、气体、漏电的监控，根据IDC动环监控系统调取所需要的数据进行强化学习模型训练，运用机器学习、统计学以及模糊控制和方法对数据进行处理、对各类相关设备进行系统化分析和决策；
步骤三：将步骤一与步骤二采集到的数据中心测点数据作为输入,利用深度强化学习建立数据中心能耗优化模型，通过对当前运行数据的清洗、分析和挖掘，预测未来的控制动作，采用机器学习算法的模型进行训练，此模型用于对现场运营专家拟采取的控制动作效果进行评估,给出采取控制动作之后数据中心PUE预测值；其中数据中心PUE是全球通用的数据中心核心关键指标，其值的计算由以下公式可得：PUE＝数据中心总能耗/IT设备能耗；步骤四：利用步骤三训练好的数据中心能耗优化模型,把数据中心各个测点变量值称为“特征”,为各个特征对数据中心PUE值的影响进行灵敏度分析,以便获知可调参数的设定如何影响数据中心PUE值的大小变化.最后,将理论研究结果与现场专家经验相结合,进行数据中心能耗优化模型落地实施并持续优化。9.据权利要求8所述的一种基于强化学习的数据中心能效优化方法，其特征在于：所述步骤三中数据中心能耗优化模型的建立具体包括以下子步骤：(3
‑
1)采用深度强化学习框架建立数据中心能耗优化模型，该优化模型包含深度强化学习代理和环境，环境为待优化数据中心能耗；强化学习训练过程中会定义状态...

【专利技术属性】
技术研发人员：蒋冰婷，王啸，薛宁，唐明伟，黄志清，路剑锋，
申请(专利权)人：深圳市证通云计算有限公司陕西证通云计算有限公司，
类型：发明
国别省市：