一种基于优先经验回放DQN的SDN数据中心拥塞控制方法技术

本发明专利技术公开了一种基于优先经验回放DQN的SDN数据中心网络的拥塞控制方法。本发明专利技术方法基于SDN的网络背景，基于流的拥塞控制思想，具备智能化、集中式、主动性的特点。引入并改进基于优先经验回放DQN的拥塞控制算法，为SDN数据中心网络的拥塞控制问题提供智能的解决方法。本发明专利技术通过控制器对全网的流全局地分配速率，既能使整个网络避免发生拥塞，又能使网络的数据链路利用率尽可能高，从而实现整个数据中心的拥塞控制。该方法相比基于Q

【技术实现步骤摘要】
一种基于优先经验回放DQN的SDN数据中心拥塞控制方法


[0001]本专利技术涉及网络通信
，具体涉及一种基于优先经验回放(Prioritized Experience Replay)DQN(Deep Q
‑
learning Network，深度Q网络)的SDN(Software Defined Network,软件定义网络)数据中心网络(Data Center Network,DCN)的拥塞控制方法。

技术介绍

[0002]SDN架构作为一种未来网络架构已经广泛被数据中心网络采用。随着大数据和云计算的发展，SDN数据中心网络中节点数目和流的数量越来越大，数据中心面临着网络拥塞的风险。由于DQN需要在探索中获取经验，通过经验回放来更新神经网络的参数，但是其采用的随机均匀采样策略在特定情况下并不是最优策略。将DQN引入拥塞控制时，由于每次分配采取的动作选择很多，在随机探索的过程中，很难获得既不拥塞而且链路利用率高的经验样本，给神经网络的训练带来困难。为此，亟需设计一种新的SDN数据中心网络拥塞控制方法来解决此类问题。...

【技术保护点】

【技术特征摘要】
1.一种基于优先经验回放DQN的SDN数据中心拥塞控制方法，其特征在于，包含如下步骤：S1、在SDN控制器中部署基于深度Q网络的拥塞控制智能体，将优先经验回放DQN算法引入基于软件定义网络的数据中心；S2、训练所述深度Q网络，其中训练过程包括S21～S24：S21、设定所述深度Q网络的输入为链路状态信息以及流状态信息，输出为不同动作对应的Q值，所述不同动作表示给流分配不同速率，奖励函数为平衡链路利用率和链路拥塞情况的综合函数；S22、随机构造任意的初始链路状态以及任意的一组流和速率需求，实现场景构造；S23、构建SumTree用于存储经验，并标记经验的优先级；S24、根据优先级从SumTree中选取经验，并按照优先经验回放DQN改进算法训练深度Q网络，使SDN控制器能通过深度Q网络在保证数据中心不发生拥塞的情况下最大化数据链路利用率；其中，所述优先经验回放DQN改进算法是在优先经验回放DQN算法基础上，在网络训练的每个场景的每一步结束前增加对链路是否拥塞的判断，若拥塞，则直接结束该场景，若不拥塞，则继续进行下一步；所述场景表示完成为整组流分配速率，场景中的每一步表示为一条流分配速率；S3、SDN控制器从SDN数据平面中实时收集链路状态信息及待分配速率的流状态信息，并将其输入训练后的深度Q网络中，根据每一条流Q值确定最优动作并生成流速率分配方案，从而对SDN数据中心网络进行全局拥塞控制。2.如权利要求1所述的基于优先经验回放DQN的SDN数据中心拥塞控制方法，其特征在于，所述SDN控制器通过南向接口与SDN数据平面的网络设备连接，实现集中控制。3.如权利要求...

【专利技术属性】
技术研发人员：金蓉，高桂超，朱广信，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：