基于深度强化学习的数据中心能耗优化控制方法技术

本发明专利技术属于数据中心能耗控制应用技术领域，尤其涉及一种基于深度强化学习的数据中心能耗优化控制方法。与现有技术相比，本发明专利技术的优点和积极效果在于，本发明专利技术提供一种基于深度强化学习的数据中心能耗优化控制方法，首先建立基于TD3的深度强化学习网络结构，其次确定深度强化学习网络的状态，动作和奖励函数计算方法，然后是对深度强化学习网络初始化，最后根据系统状态训练深度强化学习网络并得到关于负载分配和冷却系统控制的最优策略。于负载分配和冷却系统控制的最优策略。于负载分配和冷却系统控制的最优策略。

【技术实现步骤摘要】
基于深度强化学习的数据中心能耗优化控制方法


[0001]本专利技术属于数据中心能耗控制应用
，尤其涉及一种基于深度强化学习的数据中心能耗优化控制方法。

技术介绍

[0002]随着机器学习、云计算等技术的不断发展，数据中心的规模不断扩大以顺应“数字新基建”的时代要求，随之数据中心的能耗成本也不断增加。其中，IT设备和制冷设备是数据中心的主要能耗来源，两者的能耗通常占用数据中心总额能耗的85％。要降低数据中心能耗，重点在于提升数据中心的技术，关键要从IT设备计算效率以及冷却系统制冷效率两方面入手。
[0003]IT设备的计算能耗约占数据中心总能耗的45％，对物理资源进行集中管理、合理分配和有效调度，可以使数据中心保持理想的资源有效利用状态，使节约能源的途径之一。资源管理是典型的决策问题，因此可以使用强化学习算法代替传统的启发式算法，通过资源管理器与环境的自主交互，主动学习资源调度的策略，并根据环境反馈优化资源分布，提高资源利用率，从而降低计算能耗。
[0004]对于制冷设备，目前数据中心普遍使用的是HAVC(heat，vent本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的数据中心能耗优化控制方法，其特征在于，包括以下有效步骤：a、建立深度强化学习网络：所述深度强化学习网络包括策略网络Actor，评估网络Critic1，评估网络Critic2以及对应的3个目标网络Actor
‑
Target、Critic1
‑
Target和Critic2
‑
Target，其中，所述Actor网络和Actor
‑
Target网络之间，Critic1网络、Critic2网络、Critic1
‑
Target网络和Critic2
‑
Target网络之间有相同的网络结构相同、参数不同；b、确定深度强化学习网络的状态、动作和奖励函数计算方法；c、深度强化学习网络初始化：通过随机参数初始化策略网络Actor网络，评估网络Critic1网络，评估网络Critic2网络的参数θ1，θ2；以及目标网络Actor
‑
target网络，Critic1
‑
target网络，Critic2
‑
target网络的参数θ1‑
，θ2‑
；初始化经验回放内容大小M；d、深度强化学习网络训练：对于每次训练，根据当前策略和噪音选择负载分配和冷却点温度选择动作，然后执行该动作获得下一状态和奖励，并将该存储状态转移值放到经验回放内存M中，当M满时，从经验回放中随机采样，获得N个状态转移值，并得到Critic1
‑
target网络和Critic2
‑
target网络中的和并得到最小target值：然后计算td_error，最后使用td_erro...

【专利技术属性】
技术研发人员：冯炫，王为源，严宁，潘冬，兰巍，
申请(专利权)人：陕西智引科技有限公司，
类型：发明
国别省市：