路由优化方法、装置、设备及介质制造方法及图纸

本发明专利技术提供一种路由优化方法、装置、设备及介质，包括：从数据转发层中获取其网络拓扑的实时网络状态；将所述实时网络状态输入至控制层中的智能体，得到所述智能体输出的路由转发路径；将所述路由转发路径传递至所述数据转发层，以获得所述数据转发层的新网络状态和奖励值；将所述新网络状态和所述奖励值反馈至所述智能体的神经网络参数进行更新，直至所述智能体收敛获得目标智能体；将待识别网络状态输入至所述目标智能体，得到所述目标智能体输出的目标路由转发路径。本发明专利技术有效提高网络传输效率，避免网络拥塞问题，提高网络吞吐量。提高网络吞吐量。提高网络吞吐量。

【技术实现步骤摘要】
路由优化方法、装置、设备及介质


[0001]本专利技术涉及路由优化
，尤其涉及一种路由优化方法、装置、设备及介质。

技术介绍

[0002]随着互联网、社交网络以及物联网等领域快速发展，接着出现的问题就是层出不穷的新应用和爆发式增长的数据流量需求，用户的需求不再是简单的低时延的语音和短信业务，而是需要对网络的QoS(Quality of Service，服务质量)有更高的需求，即要需要对网络中的时延、吞吐量、抖动率、丢包率等方面要求满足对用户的需求。同时，网络面对更大规模的数据传输和流量，需要保障网络稳定得提供服务，避免拥塞导致网络导致瘫痪。而传统的网络路由方案一般采用最短路径算法进行计算，现在已经很难满足当前网络流量需求量大的资源，存在收敛速度慢，很容易存在网络拥塞问题。
[0003]SDN(Software Defined Network，软件定义网络)可以很好的解决当前网络存在的拥塞，效率低的问题。SDN的构建是将现在使用的网络设备的控制层和数据层进行分离。SDN的结构有应用层、控制层、数据转发层。SDN的转控层分离，集中控制的结构可以很好的为数据提供较大的灵活性，可以更有效的加快整体网络的传输效率，近年来有得到广泛应用。
[0004]在当今使用SDN使用路由算法主要是用Dijksra算法，仅考虑了路径最短的问题，而路径优化的影响因素还包括网络拓扑的网络状态，因此，现有技术存在网络传输效率低，导致容易发生网络拥塞的技术缺陷。

技术实现思路

[0005]本专利技术提供一种路由优化方法、装置、设备及介质，用以解决现有技术中网络传输效率低，导致容易发生网络拥塞的缺陷，实现有效的提高网络传输效率。
[0006]本专利技术提供一种路由优化方法，包括：
[0007]从数据转发层中获取其网络拓扑的实时网络状态；
[0008]将所述实时网络状态输入至控制层中的智能体，得到所述智能体输出的路由转发路径；
[0009]将所述路由转发路径传递至所述数据转发层，以获得所述数据转发层的新网络状态和奖励值；
[0010]将所述新网络状态和所述奖励值反馈至所述智能体的神经网络参数进行更新，直至所述智能体收敛获得目标智能体；
[0011]将待识别网络状态输入至所述目标智能体，得到所述目标智能体输出的目标路由转发路径。
[0012]根据本专利技术提供的一种路由优化方法，确定所述实时网络状态，包括：
[0013]获取任一源节点至任一目的节点的数据的传输状态参数；
[0014]将所述传输状态参数归一化，得到所述源节点至所述目的节点的实时网络状态。
[0015]根据本专利技术提供的一种路由优化方法，所述奖励值是归一化所述数据转发层的网络拓扑的时延、带宽、抖动率和丢包率得到的。
[0016]根据本专利技术提供的一种路由优化方法，获取所述数据转发层的新网络状态和奖励值，将所述新网络状态和所述奖励值反馈至所述智能体的神经网络参数进行更新，直至所述智能体收敛获得目标智能体，包括：
[0017]获取所述数据转发层每次执行动作得到新网络状态和奖励值；
[0018]将所述实时网络状态、每次执行动作对应的新网络状态和奖励至存储至缓存池中；
[0019]若所述缓存池的数据量达到设定值，则从所述缓存池随机抽取批量的数据量输入至所述智能体的神经网络参数进行更新，直至所述智能体收敛获得目标智能体；
[0020]其中，所述新网络状态和所述奖励值是所述数据转发层基于所述路由转发路径执行动作得到的。
[0021]根据本专利技术提供的一种路由优化方法，从所述缓存池随机抽取批量的数据量输入至所述智能体的神经网络参数进行更新，直至所述智能体收敛获得目标智能体，包括：
[0022]从所述缓存池中批量获取所述实时网络状态、所述新网络状态和所述奖励值；
[0023]将所述实时网络状态输入至所述智能体的actor网络中的在线策略网络，得到所述在线策略网络输出的中间动作状态；
[0024]将所述中间动作状态和所述新网络状态输入至所述智能体的critic网络中的在线价值网络，得到所述在线价值网络输出的价值网络梯度；
[0025]将所述价值网络梯度输入至所述在线策略网络，以基于所述价值网络梯度和所述在线策略网络对应的策略网络梯度更新所述在线策略网络。
[0026]根据本专利技术提供的一种路由优化方法，将所述实时网络状态输入至控制层中的智能体，得到所述智能体输出的路由转发路径，包括：
[0027]将所述实时网络状态输入至控制层的智能体中的actor网络，得到所述actor网络输出的路由转发路径。
[0028]本专利技术还提供一种路由优化装置，包括：
[0029]实时网络状态获取模块，用于从数据转发层中获取其网络拓扑的实时网络状态；
[0030]路由转发路径确定模块，用于将所述实时网络状态输入至控制层中的智能体，得到所述智能体输出的路由转发路径；
[0031]反馈值获取模块，用于将所述路由转发路径传递至所述数据转发层，以获得所述数据转发层的新网络状态和奖励值；
[0032]智能体更新模块，用于将所述新网络状态和所述奖励值反馈至所述智能体的神经网络参数进行更新，直至所述智能体收敛获得目标智能体；
[0033]路径优化模块，用于将待识别网络状态输入至所述目标智能体，得到所述目标智能体输出的目标路由转发路径。
[0034]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述路由优化方法。
[0035]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算
机程序被处理器执行时实现如上述任一种所述路由优化方法。
[0036]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述路由优化方法。
[0037]本专利技术提供的路由优化方法、装置、设备及介质，通过在SDN框架下，考虑其数据转发层的网络拓扑的实时网络状态、以及实时网络状态对应的新网络状态以及新网络状态对应的奖励值，进行训练智能体，得到目标智能体，最终，根据目标智能体获得数据转发层中最佳的目标路由转发路径，以供数据转发层基于目标路由转发路径进行路由转发，实现了基于强化学习的在SDN框架下进行转发数据网络，用网络状态作为性能指标度量，从而有效的提高网络传输效率，避免网络拥塞问题，提高网络吞吐量。
附图说明
[0038]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1是本专利技术提供的路由优化方法的流程示意图之一；
[0040]图2是本专利技术所应用的SDN的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种路由优化方法，其特征在于，包括：从数据转发层中获取其网络拓扑的实时网络状态；将所述实时网络状态输入至控制层中的智能体，得到所述智能体输出的路由转发路径；将所述路由转发路径传递至所述数据转发层，以获得所述数据转发层的新网络状态和奖励值；将所述新网络状态和所述奖励值反馈至所述智能体的神经网络参数进行更新，直至所述智能体收敛获得目标智能体；将待识别网络状态输入至所述目标智能体，得到所述目标智能体输出的目标路由转发路径。2.根据权利要求1所述的路由优化方法，其特征在于，确定所述实时网络状态，包括：获取任一源节点至任一目的节点的数据的传输状态参数；将所述传输状态参数归一化，得到所述源节点至所述目的节点的实时网络状态。3.根据权利要求1所述的路由优化方法，其特征在于，所述奖励值是归一化所述数据转发层的网络拓扑的时延、带宽、抖动率和丢包率得到的。4.根据权利要求1所述的路由优化方法，其特征在于，获取所述数据转发层的新网络状态和奖励值，将所述新网络状态和所述奖励值反馈至所述智能体的神经网络参数进行更新，直至所述智能体收敛获得目标智能体，包括：获取所述数据转发层每次执行动作得到新网络状态和奖励值；将所述实时网络状态、每次执行动作对应的新网络状态和奖励至存储至缓存池中；若所述缓存池的数据量达到设定值，则从所述缓存池随机抽取批量的数据量输入至所述智能体的神经网络参数进行更新，直至所述智能体收敛获得目标智能体；其中，所述新网络状态和所述奖励值是所述数据转发层基于所述路由转发路径执行动作得到的。5.根据权利要求4所述的路由优化方法，其特征在于，从所述缓存池随机抽取批量的数据量输入至所述智能体的神经网络参数进行更新，直至所述智能体收敛获得目标智能体，包括：从所述缓存池中批量获取所述实时网络状态、所述新网络状态和所述奖励值；将所述实时网络状态输入至所述智...

【专利技术属性】
技术研发人员：孟慧平，金翼，李文萃，高峰，谢波，李东，巩锐，刘越，熊翱，郭少勇，
申请(专利权)人：国网河南省电力公司北京邮电大学，
类型：发明
国别省市：