【技术实现步骤摘要】
本专利技术涉及网络通讯的，尤其涉及一种基于马尔可夫决策的sdwan控制器动态路由方法。
技术介绍
1、网络中的数据或者报文在传输过程中往往受多方面的因素影响，包括带宽、往返时延、节点的处理报文的能力、以及链路的复杂性等。不仅如此，网络中的节点都是随时变化的，这些节点形成的网络拓扑会在较短的时间内重新编排。
2、针对这些问题，cn116112422a专利中是通过评估当前网络中的参数，针对目标业务核目标数据制定路由策略，通过中间控制器来发布路由路径，生成路由列表信息。这种方法的优势在于能在极短的时间内生成较为可靠的路由路径，但是缺点在于无法适应长期变化的网络结构。
3、cn112448886b专利提出了一种最短路径计算方法，首先获取报文请求路由的资源信息，请求中包括起始节点、目的节点、约束节点等信息，通过计算网络拓扑中的指数约束权重与必经约束权重，根据这些约束权重规划一条最短的约束路径。这种方式可高效处理那些具有约束条件场景下的路由，降低路由选择的时间，提高执行效率，不足的地方在于无法较好的适应变化的网络结构，当一个网络节点丢失或者宕机，就会存在报文丢失的风险。
4、综上所述，目前在广域网中数据的路由方法种类繁多，各有优势，但是没有一种有效的方法适应实时性的网络结构，如何在这种网络结构既复杂又多变的场景下，达到可靠而且高效的路由策略是当前需要解决的问题。
技术实现思路
1、本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在
2、鉴于上述现有基于马尔可夫决策的sdwan控制器动态路由方法存在的问题，提出了本专利技术。
3、因此，本专利技术目的是提供一种基于马尔可夫决策的sdwan控制器动态路由方法，其有效的解决网络中节点实时性变化的问题，而且加强了网络相邻节点的联系。
4、为解决上述技术问题，本专利技术提供如下技术方案：一种基于马尔可夫决策的sdwan控制器动态路由方法，包括以下步骤：
5、步骤一：在广域网中搭建sdwan控制器集群，控制器集群采用主备结构；
6、步骤二：控制器监听网络中的路由节点信息，并形成路由节点ip与其相关信息的信息表；
7、步骤三：将网络中的路由器、网关转发设备注册到控制器中，并时隔t时间向中心控制器发送当前节点信息，信息包括节点的ip地址，节点的处理报文时间tdeal、与相邻节点通讯时延td、与当前节点相邻的ip地址集合、报文在当前节点队列中的等待时间twaiting；
8、步骤四：发送将要转发的报文信息提交到控制器中，控制器获取报文的源ip地址与目的ip地址，控制器通过全部节点的集合构建网络拓扑逻辑结构，形成一个由源ip节点到目的ip节点的有向连通图，并将源ip所在的节点深度记为0，根据深度进行逻辑分层；
9、步骤五：形成的网络结构，再为每个路由节点网关或者路由器计算损失得分qloss和初始化概率pi，i表示当前第i个设备；
10、步骤六：报文在转发过程中的路由选择以及选择路由的影响得分的迭代计算方法；
11、步骤七：根据步骤六的更新迭代记录每条从源地址到目标地址的路由时间t0、t1、...tp，比较并获得最小的路由时间所对应的路由路径，将该路由路径当作最终的路由方案。
12、作为本专利技术所述基于马尔可夫决策的sdwan控制器动态路由方法的一种优选方案，其中：所述步骤二中路由节点能够选择是路由器、智能网关或者pop节点转发设备。
13、作为本专利技术所述基于马尔可夫决策的sdwan控制器动态路由方法的一种优选方案，其中：所述步骤二中路由节点的下标表示层级，上标表示层级序号，具体包括以下步骤：
14、1)获取源ip地址，根据源ip地址作为集合的key，获取相邻的节点信息；
15、2)再遍历相邻节点，使用深度优先遍历算法，遍历全部节点信息，构成连通的网络结构，即便存在多个连通分量的网络结构，也不影响主网络的数据传输；
16、3)根据网络深度划分层级，并标记1、2...m。
17、作为本专利技术所述基于马尔可夫决策的sdwan控制器动态路由方法的一种优选方案，其中：所述步骤五中qloss计算分为当前节点的平均得分qavg_loss和真实得分qreal_loss，具体计算公式如下：
18、qloss＝qavg_loss-qreal_loss (1)
19、qavg_loss＝tdeal/nums+td/times+twaiting/nums (2)
20、qreal_loss＝tdeal+td+twaiting (3)
21、其中，公式(2)中的tdeal、twaiting都是处理报文的总时间，nums为报文总数，td表示与相邻的节点通讯总时间，times为通讯次数；
22、公式(3)中的tdeal、td、twaiting分别为当前报文真实的处理时间、当前节点与相邻的节点真实通讯时间、当前报文在当前节点队列中的真实等待时间。
23、作为本专利技术所述基于马尔可夫决策的sdwan控制器动态路由方法的一种优选方案，其中：给网络第i个中间节点初始化选择概率pi，pi表示选择当前节点作为路由路径的概率，倘若网络是最开始状态，所有的节点的概率初始化为等值的。
24、作为本专利技术所述基于马尔可夫决策的sdwan控制器动态路由方法的一种优选方案，其中：所述控制器计算和更新网络参数流程图，具体步骤如下：
25、a1、当网络中第一次发送报文时，先获取源ip地址和目的ip地址；
26、a2、初始化参数，对网络中每个路由节点平均初始化概率，保证每个路由节点等概率被选中；
27、a3、计算网络中每个路由节点的损失，根据公式(1)至公式(3)计算获得；
28、a4、分层计算选取下一跳的路由节点对当前节点的影响得分。
29、作为本专利技术所述基于马尔可夫决策的sdwan控制器动态路由方法的一种优选方案，其中：所述步骤六中的计算方法包括：
30、根据层级计算每个网络路由设备的影响得分和概率，首次处理报文的设备采用均值作为初始化参数，
31、qi+1＝qi+aqi+1_loss+bpi+1qi+1(statei+1,ri+1) (4)
32、a+b＝1，a>0且b>0 (5)
33、pi＝1/n (6)
34、在公式(6)中，n表示网络路由节点的数量，公式(4)中参数a和参数b是需要根据不同的网络环境设定的超参数，来权衡自生处理报文能力与选择下一跳的作为路由路径的指标，statei+1表示路由节点状态，ri+1表示选择的路由设备，当影响得分高表示选取当前路本文档来自技高网...
【技术保护点】
1.一种基于马尔可夫决策的SDWAN控制器动态路由方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于马尔可夫决策的SDWAN控制器动态路由方法，其特征在于：所述步骤二中路由节点能够选择是路由器、智能网关或者POP节点转发设备。
3.根据权利要求1所述的基于马尔可夫决策的SDWAN控制器动态路由方法，其特征在于：所述步骤二中路由节点的下标表示层级，上标表示层级序号，具体包括以下步骤：
4.根据权利要求1所述的基于马尔可夫决策的SDWAN控制器动态路由方法，其特征在于：所述步骤五中Qloss计算分为当前节点的平均得分Qavg_loss和真实得分Qreal_loss，具体计算公式如下：
5.根据权利要求4所述的基于马尔可夫决策的SDWAN控制器动态路由方法，其特征在于：给网络第i个中间节点初始化选择概率Pi，Pi表示选择当前节点作为路由路径的概率，倘若网络是最开始状态，所有的节点的概率初始化为等值的。
6.根据权利要求5所述的基于马尔可夫决策的SDWAN控制器动态路由方法，其特征在于：所述控制器计算和更新网络参数流
7.根据权利要求6所述的基于马尔可夫决策的SDWAN控制器动态路由方法，其特征在于：所述步骤六中的计算方法包括：
8.根据权利要求7所述的基于马尔可夫决策的SDWAN控制器动态路由方法，其特征在于：根据A1的步骤依次完成同层级的其他设备的计算得分：Q(1)i+1、Q(2)i+1、Q(3)i+1...Q(m)i+1，更新当前层级的网络路由设备被选中概率，将同层设备的得分累计后，再计算每个路由设备的概率：
9.根据权利要求8所述的基于马尔可夫决策的SDWAN控制器动态路由方法，其特征在于：同层迭代计算影响得分的过程，具体步骤如下：
10.根据权利要求1所述的基于马尔可夫决策的SDWAN控制器动态路由方法，其特征在于：所述路由节点采用概率分布模式去选择路由，实时性的更新节点信息，通过控制器集群与路由节点的发布订阅模式，使控制器在短时间内捕获路由节点信息，并让控制器快速做出最佳的路由决策，减少报文在网络中等待的时间。
...【技术特征摘要】
1.一种基于马尔可夫决策的sdwan控制器动态路由方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于马尔可夫决策的sdwan控制器动态路由方法，其特征在于：所述步骤二中路由节点能够选择是路由器、智能网关或者pop节点转发设备。
3.根据权利要求1所述的基于马尔可夫决策的sdwan控制器动态路由方法，其特征在于：所述步骤二中路由节点的下标表示层级，上标表示层级序号，具体包括以下步骤：
4.根据权利要求1所述的基于马尔可夫决策的sdwan控制器动态路由方法，其特征在于：所述步骤五中qloss计算分为当前节点的平均得分qavg_loss和真实得分qreal_loss，具体计算公式如下：
5.根据权利要求4所述的基于马尔可夫决策的sdwan控制器动态路由方法，其特征在于：给网络第i个中间节点初始化选择概率pi，pi表示选择当前节点作为路由路径的概率，倘若网络是最开始状态，所有的节点的概率初始化为等值的。
6.根据权利要求5所述的基于马尔可夫决策的sdwan控制器动态...
【专利技术属性】
技术研发人员：姜庆涛，赵中国，卯永杰，李建松，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。