基于强化学习的数据中心网络节能方法及系统技术方案

本申请提供一种基于强化学习的数据中心网络节能方法及系统，方法包括：将数据中心网络当前时刻的网络状态数据发送至智能体，以使智能体对网络状态数据进行复杂度降低处理，并基于深度强化学习算法，应用经复杂度降低处理后的网络状态数据和深度神经网络生成数据中心网络的下一时刻针对一目标链路的节能动作决策数据；接收节能动作决策数据并对目标链路进行开启或关闭处理，更新网络拓扑以使该控制器根据更新后的网络拓扑对应更新数据中心网络

【技术实现步骤摘要】
基于强化学习的数据中心网络节能方法及系统


[0001]本申请涉及数据处理
，尤其涉及基于强化学习的数据中心网络节能方法及系统
。

技术介绍

[0002]近年来，全球数据中心市场日益成熟，规模不断扩大，在过去的五年中，全球数据中心的数量和容量增加了一倍多
。
有调查表明，电力是数据中心最大的运营成本之一，功耗也是运营商非常关心的指标
。
然而，在数据中心中，许多设备经常以非常低的效率运行，因为设备的数量和数据中心网络的链路容量经常远远超过实际的流量需求
。
在某些情况下，甚至有超过
20
％的设备处于开机状态，但实际上并没有流量经过
。
因此，探究数据中心网络的节能方案是十分必要的
。
考虑到数据中心网络中全连接的拓扑和较低的链路利用率，一种显而易见的节能思路是将流量聚集到一些关键链路上进行传输，并关闭剩余的空闲交换机
。
然而，如何选择关键链路，以及相应地如何选择需要被关闭的交换机，是一个需要研究的重要问题
。
[0003]然而，现有的数据中心网络节能方法可以采用
ElasticTree
或
GreenTE.ai
等方式，但这些方式均无法同时满足保证数据中心网络稳定性并降低数据中心耗电量的要求，同时还存在因算法复杂度高导致节能决策生成效率低等问题
。

技术实现思路

[0004]鉴于此，本申请实施例提供了基于强化学习的数据中心网络节能方法及系统，以消除或改善现有技术中存在的一个或更多个缺陷
。
[0005]本申请的第一个方面提供了一种基于强化学习的数据中心网络节能方法，包括：数据中心网络节能决策步骤，该数据中心网络节能决策步骤包括：
[0006]将数据中心网络当前时刻的网络状态数据发送至智能体，以使所述智能体对所述网络状态数据进行复杂度降低处理，并基于深度强化学习算法，应用经所述复杂度降低处理后的网络状态数据和深度神经网络生成所述数据中心网络的下一时刻针对一目标链路的节能动作决策数据；
[0007]接收所述节能动作决策数据，根据该节能动作决策数据对所述目标链路进行开启或关闭处理，并对应更新所述数据中心网络对应的网络拓扑；
[0008]将更新后的网络拓扑发送至所述数据中心网络的控制器，以使该控制器根据所述更新后的网络拓扑对应更新所述数据中心网络中的交换机状态
。
[0009]在本申请的一些实施例中，还包括：
[0010]对数据中心网络进行实时网络状态检测以采集数据中心网络当前时刻的网络状态数据，并重复执行所述数据中心网络节能决策步骤，使得所述智能体将每一次执行所述数据中心网络节能决策步骤时获取的动作决策数据
、
前一次的网络状态数据
、
更新后的网络状态数据和奖励之间的对应关系合并成一条经验，并将该经验存储在重放缓存中；而后
在重复执行所述数据中心网络节能决策步骤的过程中，所述智能体不断地从所述重放缓存中抽取所述经验并用于学习和训练所述深度神经网络，直至所述深度神经网络收敛
。
[0011]在本申请的一些实施例中，所述深度强化学习算法对应的状态空间采用一维数组的形成存储所述数据中心网络的网络拓扑结构；
[0012]所述深度强化学习算法对应的奖励函数根据功耗简化规则设置，所述功耗简化规则包括：所述数据中心网络的功耗是由其中的交换机功耗之和构成的；
[0013]以及，基于经性能提升方式提升算法性能后的
DQN
算法实现所述深度神经网络的决策，所述性能提升方式包括：预设的学习效率提升方式
、
稳定性提升方式以及状态价值和动作奖励的分离方式中的至少一种
。
[0014]在本申请的一些实施例中，在所述智能体生成所述数据中心网络的下一时刻针对一目标链路的节能动作决策数据之后，还对该节能动作决策数据进行动作预处理，以判定是否过滤该节能动作决策数据，若否，则所述智能体发出该节能动作决策数据
。
[0015]在本申请的一些实施例中，所述复杂度降低处理包括：针对数据中心网络拓扑的连通性保证处理和
/
或基于数据中心网络拓扑规律的拓扑分割处理
。
[0016]本申请的第二个方面提供了一种基于强化学习的数据中心网络节能方法，包括：
[0017]接收监测装置发送的数据中心网络当前时刻的网络状态数据；
[0018]对所述网络状态数据进行复杂度降低处理，并基于深度强化学习算法，应用经所述复杂度降低处理后的网络状态数据和深度神经网络生成所述数据中心网络的下一时刻针对一目标链路的节能动作决策数据；
[0019]将该节能动作决策数据发送至所述监测装置，以使该监测装置接收所述节能动作决策数据，根据该节能动作决策数据对所述目标链路进行开启或关闭处理，并对应更新所述数据中心网络对应的网络拓扑，所述监测装置将更新后的网络拓扑发送至所述数据中心网络的控制器，以使该控制器根据所述更新后的网络拓扑对应更新所述数据中心网络中的交换机状态
。
[0020]在本申请的一些实施例中，还包括：
[0021]在每次接收监测装置发送的数据中心网络当前时刻的网络状态数据后，均将当次的动作决策数据
、
前一次的网络状态数据
、
更新后的网络状态数据和奖励之间的对应关系合并成一条经验，并将该经验存储在重放缓存中；而后不断地从所述重放缓存中抽取所述经验并用于学习和训练所述深度神经网络，直至所述深度神经网络收敛
。
[0022]在本申请的一些实施例中，所述深度强化学习算法对应的状态空间采用一维数组的形成存储所述数据中心网络的网络拓扑结构；
[0023]所述深度强化学习算法对应的奖励函数根据功耗简化规则设置，所述功耗简化规则包括：所述数据中心网络的功耗是由其中的交换机功耗之和构成的；
[0024]以及，基于经性能提升方式提升算法性能后的
DQN
算法实现所述深度神经网络的决策，所述性能提升方式包括：预设的学习效率提升方式
、
稳定性提升方式以及状态价值和动作奖励的分离方式中的至少一种
。
[0025]在本申请的一些实施例中，在生成所述数据中心网络的下一时刻针对一目标链路的节能动作决策数据之后，还对该节能动作决策数据进行动作预处理，以判定是否过滤该节能动作决策数据，若否，则将该节能动作决策数据发送至所述监测装置
。
[0026]本申请的第三个方面还提供了一种监测装置，包括：通信模块和网络管理模块，以用于执行数据中心网络节能决策步骤，其中，
[0027]所述通信模块，用于将数据中心网络当前时刻的网络状态数据发送至智能体，以使所述智能体对所述网络状态数据进行复杂度降低处理，并基于深度强化学习算法，应用经所述复杂度降低处理后的网络状本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于强化学习的数据中心网络节能方法，其特征在于，包括：数据中心网络节能决策步骤，该数据中心网络节能决策步骤包括：将数据中心网络当前时刻的网络状态数据发送至智能体，以使所述智能体对所述网络状态数据进行复杂度降低处理，并基于深度强化学习算法，应用经所述复杂度降低处理后的网络状态数据和深度神经网络生成所述数据中心网络的下一时刻针对一目标链路的节能动作决策数据；接收所述节能动作决策数据，根据该节能动作决策数据对所述目标链路进行开启或关闭处理，并对应更新所述数据中心网络对应的网络拓扑；将更新后的网络拓扑发送至所述数据中心网络的控制器，以使该控制器根据所述更新后的网络拓扑对应更新所述数据中心网络中的交换机状态
。2.
根据权利要求1所述的基于强化学习的数据中心网络节能方法，其特征在于，还包括：对数据中心网络进行实时网络状态检测以采集数据中心网络当前时刻的网络状态数据，并重复执行所述数据中心网络节能决策步骤，使得所述智能体将每一次执行所述数据中心网络节能决策步骤时获取的动作决策数据
、
前一次的网络状态数据
、
更新后的网络状态数据和奖励之间的对应关系合并成一条经验，并将该经验存储在重放缓存中；而后在重复执行所述数据中心网络节能决策步骤的过程中，所述智能体不断地从所述重放缓存中抽取所述经验并用于学习和训练所述深度神经网络，直至所述深度神经网络收敛
。3.
根据权利要求1所述的基于强化学习的数据中心网络节能方法，其特征在于，所述深度强化学习算法对应的状态空间采用一维数组的形成存储所述数据中心网络的网络拓扑结构；所述深度强化学习算法对应的奖励函数根据功耗简化规则设置，所述功耗简化规则包括：所述数据中心网络的功耗是由其中的交换机功耗之和构成的；以及，基于经性能提升方式提升算法性能后的
DQN
算法实现所述深度神经网络的决策，所述性能提升方式包括：预设的学习效率提升方式
、
稳定性提升方式以及状态价值和动作奖励的分离方式中的至少一种
。4.
根据权利要求1所述的基于强化学习的数据中心网络节能方法，其特征在于，在所述智能体生成所述数据中心网络的下一时刻针对一目标链路的节能动作决策数据之后，还对该节能动作决策数据进行动作预处理，以判定是否过滤该节能动作决策数据，若否，则所述智能体发出该节能动作决策数据
。5.
根据权利要求1至4任一项所述的基于强化学习的数据中心网络节能方法，其特征在于，所述复杂度降低处理包括：针对数据中心网络拓扑的连通性保证处理和
/

【专利技术属性】
技术研发人员：潘恬，高明岚，周夏欣，宋恩格，黄韬，刘韵洁，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：