一种云-雾弹性光网络中的深度强化学习流量疏导方法技术

本发明专利技术提出了一种云‑雾弹性光网络中的深度强化学习流量疏导方法，其步骤为：通过最短路径算法计算业务请求最短路径；将业务路径和按波长切片的网络拓扑转换为图片的形式；用卷积神经网络提取所有图片的特征，用softmax分类器进行分类，将业务请求分配到相应的波长；如果分配到的波长有可用资源，业务请求成功分配，否则根据首次适应方法遍历所有的波长对业务请求进行分配；利用强化学习算法进行评价，更新拓扑的网络状态，生成下一个业务请求的最短路径拓扑图；每当至少三个业务请求分配完成后，更新卷积神经网络。本发明专利技术通过强化学习不断地更新网络，使所有业务能够充分利用网络中的端口、收发器和放大器，从而降低网络的总能耗。

A deep reinforcement learning traffic grooming method in cloud fog elastic optical network

【技术实现步骤摘要】
一种云-雾弹性光网络中的深度强化学习流量疏导方法
本专利技术涉及弹性光网络和云-雾通信的
，尤其涉及一种云-雾弹性光网络中的深度强化学习流量疏导方法，当弹性光网络作为雾节点和云数据中心的通信设施时，使用深度强化学习进行业务疏导。
技术介绍
云计算把所有的数据集运输到同一个中心进行分析、存储和处理，擅长提供各种服务，但是随着全球物联网设备的爆炸式增长，这些设备产生的海量数据不适合全部通过云计算进行处理，同时冗余的传输过程会造成延迟过高，给当前的通信网带来了巨大的挑战。为了满足物联网大量低延迟计算的需求，弥补传统云计算的不足，雾计算应运而生，它的模式是设置众多的“雾节点”，将数据、数据处理和应用程序集中在网络边缘的设备中，这样能够让运算处理速度更快，更高效得出运算结果，所以雾计算成为处理数据的最佳候选，其优点是低延迟、高安全性、较好的用户体验和较高的功耗效率。弹性光网络(ElasticOpticalNetwork,EON)是一种很有前途的用于雾节点和云数据中心之间通信的网络基础设施，将底层物理网络中的资源抽象到云-雾计算的资源池中，在对虚拟网络进行资源分配和管理，能够提供灵活、高效的服务。为了充分利用这种灵活性，同时使底层物理资源得到充分利用，流量疏导方法应运而生，它可以通过现有的光路灵活地将多个细粒度的IP流量汇聚到光层中，根据业务请求带宽灵活地分配频谱。特别是随着可切片光应答器、可切片光放大器等基片器件的发展，流量疏导可以实现更高的功耗效率。流量疏导将不同的带宽请求引导到相同的波长，以节省资源和能源。总能耗主要由三部分组成：IP端口、收发器和放大器，首先对这三部分的能耗进行建模：IP端口：认为400Gbps的基础能耗为560W，总的端口能耗用EIPT(W)表示。光收发器：能耗取决于业务请求的线速度，对于每一个线速率单位，能耗为1.683W(参数η＝1.683W/Gbps)，计算公式如下：其中，TR表示传输速率，NOPT是光收发器的数量，表示第i个收发器的能耗，EOPT表示收发器的总能耗。在本专利技术中考虑了线速率为40Gbps和100Gbps。光放大器：每个光放大器的基础能耗μ＝100W，额外的能耗取决于业务请求的线速度。对于40Gbps和100Gbps，额外的能耗分别为25W和50W。光放大器的能耗计算公式如下所示：其中，θ是额外的能源消耗，NOPR是光放大器的数量。是第i个放大器的能耗，EOPR表示放大器的总能耗。因此，总的能耗计算公式为：ETG(W)＝EIPT(W)+EOPT(W)+EOPR(W)(5)。现有的研究中只应用固定的流量疏导策略或依赖于手动提取特征的简单策略，无法实现真正的自适应流量疏导策略。同时，深度强化学习(DeepReinforcementLearning，DRL)在解决大规模任务时的有效性也得到了验证。
技术实现思路
针对现有物联网中海量数据通过云计算处理延迟较高，弹性光网络能耗较大的技术问题，本专利技术提出一种云-雾弹性光网络中的深度强化学习流量疏导方法，采用卷积神经网络(ConvolutionalNeuralNetwork，CNN)自动获取特征，通过强化学习与环境进行交互，并对流量疏导进行评分以优化其过程。为了达到上述目的，本专利技术的技术方案是这样实现的：一种云-雾弹性光网络中的深度强化学习流量疏导方法，其步骤如下：步骤一：对于一个业务请求r＝(s,d,t)，通过最短路径算法计算业务请求r的最短路径；将业务请求r的业务路径和按波长切片的网络拓扑转换为图片的形式；其中，s和d分别代表源节点和目的节点，t代表业务请求r的带宽需求；步骤二：用卷积神经网络提取步骤一中所有图片的特征，并用softmax分类器进行分类，根据分类结果将业务请求分配到相应的波长；步骤三：如果分配到的波长有可用资源，那么该业务请求成功分配，如果没有可用资源，根据首次适应方法遍历所有的波长对业务请求r进行分配，根据减少的能耗得到一个奖励值；步骤四：每一个业务请求分配完成后，利用强化学习算法对步骤三进行评价，生成一个value值，并更新拓扑的网络状态，生成下一个业务请求的最短路径拓扑图；步骤五：重复步骤一-步骤四，每当至少三个业务请求分配完成后，根据网络状态、动作、奖励值和value值来更新卷积神经网络。所述步骤一中从源节点s到目的节点d的每条链路的带宽资源按照波长分为5部分，当业务请求来临时，选择分配到任一波长，只改变当前波长的状态，即把该业务请求分配到当前的波长，改变相应位置的端口、收发器、放大器和带宽占用的情况。所述业务路径和按波长切片的网络拓扑转换为图片的形式的方法是：根据节点位置和链路的连通情况画出节点和链路，根据端口、收发器和放大器的占用情况用不同颜色和大小的点分别画出；按波长切片的网络拓扑的其中一个波长的图片为：首先根据给定的网络节点的坐标，用黑色的实心圆点画出节点；然后根据给定的链路的连通情况和当前波长的网络拓扑中所有链路上带宽的占用情况用不同的颜色画出链路；最后用较小的圆点表示端口和收发器，用较大的圆点表示放大器，同样地根据不同的占用情况用不同的颜色画出；业务路径的拓扑图用相同的方法画出。所述步骤二中卷积神经网络采用的是轻量型卷积神经网络MobilenetV3，轻量型卷积神经网络MobilenetV3把标准的卷积层分解为深度卷积和点卷积的形式：第一层卷积层的卷积核为3、步长为2、填充为1；第二层是15层的输入输出通道、卷积核、步长都已经确定的block层；第三层的卷积核为1、步长为1；第四层是卷积核为7的平均池化层；经过两层1×1的卷积层降维。将轻量型卷积神经网络MobilenetV3提取到的特征输入softmax分类器得到动作的概率分布，概率分布越高，选择动作对应的波长的几率就越大。所述轻量型卷积神经网络MobilentV3的激活函数为：其中，x表示激活函数层的输入，ReLU()是常用的激活函数；且轻量型卷积神经网络MobilentV3的最后一层没有激活函数。所述步骤三中可用资源为在该波长的网络拓扑中，当前业务请求对应位置的端口、收发器、放大器和带宽有空闲资源；所述首次适应方法按照波长的编号遍历所有的波长，寻找第一个有可用资源的波长进行分配；根据所分配到的波长对网络能耗造成的影响计算得到一个奖励值。所述步骤四中强化学习算法采用的是Actor-Critic算法，Actor-Critic算法包括Actor网络和Critic网络，Actor网络和Critic网络共用一个神经网络，Actor网络负责把业务疏导到正确的部分，Critic网络用来评判动作的质量，得到value值；所述拓扑的网络状态表示的是轻量型卷积神经网络MobilenetV3提取的网络特征，动作表示的是选择的波长，奖励值对应每一个业务疏导的结果，业务进入拓扑网络后占用的资源越少，奖励值越大。所述步骤四中根据业务请求的分配情况更新拓扑的网络状本文档来自技高网...

【技术保护点】
1.一种云-雾弹性光网络中的深度强化学习流量疏导方法，其特征在于，其步骤如下：/n步骤一：对于一个业务请求r＝(s,d,t)，通过最短路径算法计算业务请求r的最短路径；将业务请求r的业务路径和按波长切片的网络拓扑转换为图片的形式；其中，s和d分别代表源节点和目的节点，t代表业务请求r的带宽需求；/n步骤二：用卷积神经网络提取步骤一中所有图片的特征，并用softmax分类器进行分类，根据分类结果将业务请求分配到相应的波长；/n步骤三：如果分配到的波长有可用资源，那么该业务请求成功分配，如果没有可用资源，根据首次适应方法遍历所有的波长对业务请求r进行分配，根据减少的能耗得到一个奖励值；/n步骤四：每一个业务请求分配完成后，利用强化学习算法对步骤三进行评价，生成一个value值，并更新拓扑的网络状态，生成下一个业务请求的最短路径拓扑图；/n步骤五：重复步骤一-步骤四，每当至少三个业务请求分配完成后，根据网络状态、动作、奖励值和value值来更新卷积神经网络。/n

【技术特征摘要】
1.一种云-雾弹性光网络中的深度强化学习流量疏导方法，其特征在于，其步骤如下：
步骤一：对于一个业务请求r＝(s,d,t)，通过最短路径算法计算业务请求r的最短路径；将业务请求r的业务路径和按波长切片的网络拓扑转换为图片的形式；其中，s和d分别代表源节点和目的节点，t代表业务请求r的带宽需求；
步骤二：用卷积神经网络提取步骤一中所有图片的特征，并用softmax分类器进行分类，根据分类结果将业务请求分配到相应的波长；
步骤三：如果分配到的波长有可用资源，那么该业务请求成功分配，如果没有可用资源，根据首次适应方法遍历所有的波长对业务请求r进行分配，根据减少的能耗得到一个奖励值；
步骤四：每一个业务请求分配完成后，利用强化学习算法对步骤三进行评价，生成一个value值，并更新拓扑的网络状态，生成下一个业务请求的最短路径拓扑图；
步骤五：重复步骤一-步骤四，每当至少三个业务请求分配完成后，根据网络状态、动作、奖励值和value值来更新卷积神经网络。


2.根据权利要求1所述的云-雾弹性光网络中的深度强化学习流量疏导方法，其特征在于，所述步骤一中从源节点s到目的节点d的每条链路的带宽资源按照波长分为5部分，当业务请求来临时，选择分配到任一波长，只改变当前波长的状态，即把该业务请求分配到当前的波长，改变相应位置的端口、收发器、放大器和带宽占用的情况。


3.根据权利要求2所述的云-雾弹性光网络中的深度强化学习流量疏导方法，其特征在于，所述业务路径和按波长切片的网络拓扑转换为图片的形式的方法是：根据节点位置和链路的连通情况画出节点和链路，根据端口、收发器和放大器的占用情况用不同颜色和大小的点分别画出；按波长切片的网络拓扑的其中一个波长的图片为：首先根据给定的网络节点的坐标，用黑色的实心圆点画出节点；然后根据给定的链路的连通情况和当前波长的网络拓扑中所有链路上带宽的占用情况用不同的颜色画出链路；最后用较小的圆点表示端口和收发器，用较大的圆点表示放大器，同样地根据不同的占用情况用不同的颜色画出；业务路径的拓扑图用相同的方法画出。


4.根据权利要求1或3所述的云-雾弹性光网络中的深度强化学习流量疏导方法，其特征在于，所述步骤二中卷积神经网络采用的是轻量型卷积神经网络MobilenetV3，轻量型卷积神经网络MobilenetV3把标准的卷积层分解为深度卷积和点卷积的形式：第一层卷积层的卷积核为3、步长为2、填充为1；第二层是15层的输入输出通道、卷积核、步长都已经确定的block层；第三层的卷积核为1、步长为1；第四层是卷积核为7的平均池化层；经过两层1×1的卷积层降维。
...

【专利技术属性】
技术研发人员：朱睿杰，李世华，李亚飞，吕培，徐明亮，
申请(专利权)人：郑州大学，
类型：发明
国别省市：河南;41