一种基于数字孪生的SDN路由优化方法技术

本发明专利技术提供了一种基于数字孪生的SDN路由优化方法，包括物理空间和虚拟空间两种空间，其中由SDN的主机和交换机组成的数据平面与由控制器组成的控制平面存在于物理空间，利用数据平面中的主机、交换机、链路信息构建的数字孪生存在于虚拟空间；在物理空间中，控制平面负责完成网络流量转发控制，由控制器构建出执行DT

【技术实现步骤摘要】
一种基于数字孪生的SDN路由优化方法


[0001]本专利技术属于软件定义网络与智能通信网络领域，特别涉及一种基于数字孪生的SDN路由优化方法。

技术介绍

[0002]随着软件定义网络(Software defined network，SDN)技术的发展，其应用领域不断扩大，SDN中的用户设备数量迅速增加、业务需求更加多样，导致了SDN面临的网络环境和通信需求愈加多样化和复杂化。传统的SDN路由算法因支撑决策的信息较少和路由策略调整机制不灵活，越来越难以在复杂变化的网络环境中保证较好的路由传输质量。现有针对SDN的路由研究中，主要可以分为基于传统数学模型、启发式算法和深度强化学习(Deep Reinforcement Learning)三类，但是这些路由算法在面临复杂多变的网络环境和通信需求时，都存在一定的局限性：
[0003](1)基于传统数学模型的路由算法，主要根据当前网络中的链路状态为流量分配路径。其中，大部分的路由算法是以最短路径算法为基础，通过对链路的时延、丢包率和队列长度等参数加权计算后得到新的链路权值，然后利用Dijkstra算法得到传输路径。这种方式容易引起从同一起始交换机到同一终点交换机的链路拥塞，最终导致流量具有较高的丢包率和时延。同时，这种路由算法通常是根据预先设定的规则做出响应，无法快速适应网络环境的动态变化。
[0004](2)基于启发式算法的路由算法，根据求解原理可分为蚁群算法、遗传算法和粒子群算法等。这些算法通过不断地迭代计算后，可得到满足约束的最优解，从而获得当前网络环境下的流量的最优传输路径。然而，启发式算法因迭代过程过长，会导致路由决策的计算时延较长，影响控制器的路由决策效率。
[0005](3)在基于DRL的路由算法中，控制器作为智能体，通过不断地和网络进行交互，能够逐渐感知、适应网络环境的动态变化，进而在复杂多变的网络环境中为流量分配最佳的传输路径。然而，由于需要大量的历史网络数据进行模型训练，会对控制器造成较大的计算、通信压力。
[0006]数字孪生(Digital Twin)通过构建物理实体的实时数字镜像，可在虚拟空间中对物理实体进行监视、模拟和控制等，目前数字孪生已广泛应用于通信网络中，如进行计算卸载决策，边缘缓存放置等。在SDN中引入数字孪生，不仅能够帮助控制器更广泛、精细地感知网络环境信息，也能协助控制器建模网络和分析网络数据，提供更全面的网络全局视图等，进而增强对网络的系统性仿真、优化、验证和控制等能力，有助于更好地管理和维护网络，以及降低网络试错成本，促进网络技术创新等。
[0007]在复杂多变的SDN网络中，传统路由算法因决策依据少、灵活性不高，无法为每条流量规划合适的路径，导致出现链路拥塞、负载不均衡等，造成流量具有较高的丢包率和通信时延。

技术实现思路

[0008]本专利技术的目的在于克服现有技术的不足，提供一种通过数字孪生感知、分析网络环境数据和优化路由算法，不仅能够为控制器提供多维度的网络数据和自适应更新路由策略，而且降低了控制器优化路由算法的通信、计算压力的基于数字孪生的SDN路由优化方法。
[0009]本专利技术的目的是通过以下技术方案来实现的：一种基于数字孪生的SDN路由优化方法，包括物理空间和虚拟空间两种空间，其中由SDN的主机和交换机组成的数据平面与由控制器组成的控制平面存在于物理空间，利用数据平面中的主机、交换机、链路信息构建的数字孪生存在于虚拟空间；在物理空间中，控制平面负责完成网络流量转发控制，由控制器构建出执行DT
‑
DRL路由算法的代理，该代理记为DRL
‑
Agent，DRL
‑
Agent基于数字孪生提供的路由算法计算模型和网络状态信息，为每条网络流量规划合适的转发路径；
[0010]DT
‑
DRL路由算法包括在控制器部署的决策网络PolicyNetwork，在数字孪生中部署的训练网络TrainingNetwork和辅助训练的目标网络TargetNetwork；数字孪生根据数据平面映射的历史网络数据分析网络状态和收集决策经验，并根据决策经验更新路由算法的经验回放池；且通过周期性地训练TrainingNetwork，以及向控制器更新PolicyNetwork的参数，实现路由算法的动态更新；当控制器收到路由请求后，将流量信息和数字孪生提供的信息作为环境状态，为流量从多条备选路径中选出最优路径，并根据该条路径计算出相关交换机的路由转发表，完成流量的高效传输；
[0011]设数据平面有C个交换机和N条链路，将数据平面简化为一个无向图G＝{SW，E}，其中SW＝{s1，s2，
…
，s
C
}表示由交换机组成的集合，交换机s
i
连接的主机集合记为H
i
＝{h
i，1
，h
i，2
，
…
}，i∈[1，C]；E＝{e
1，2
，e
1，3
，
…
，e
2，3
，
…
}表示由N条链路组成的集合，e
i,j
表示s
i
和s
j
之间存在一条链路，i∈[1，C]，j∈[1，C]，i≠j；其具有通信距离d
i，j
、链路带宽b
i，j
和链路利用率u
i,j
(t)三种属性，其中d
i，j
和b
i，j
为常量，u
i,j
(t)表示e
i,j
在单位时间内链路上有数据通过的时间，该变量随时间t变化；
[0012]源主机h
i，j
向目的主机h
i
′
，j
′
在时刻t发起一条流量请求flow，首先将该流量请求flow传输到与源主机相连的交换机，flow中包含用于路由决策的属性有源主机地址、目的主机地址和流量大小三种数据，i≠i
′
，j≠j
′
；当数据平面中的交换机收到flow时，交换机会将其上报给控制器，控制器随后利用数字孪生提供的网络状态和flow信息作为PolicyNetwork的状态输入，PolicyNetwork输出的动作决策将作为该条flow的最佳传输路径，经过路由表计算后下发到网络中的相关交换机，从而完成该条flow的传输；
[0013]当一条flow传输到目的主机后，在下一次向数字孪生映射主机的工作状态数据时，数字孪生能够根据该条流量的实际丢包率和时延，为DRL
‑
Agent制定奖励值，并将该条决策的网络状态空间信息s、有效决策信息a、奖励值r
t
和下一时刻的网络状态空间信息s
′
作为一条决策经验放入经验回放池；丢包率loss(t)表示为该条flow到达目的主机的数据包数量Num
R
与源主机发出的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数字孪生的SDN路由优化方法，其特征在于，包括物理空间和虚拟空间两种空间，其中由SDN的主机和交换机组成的数据平面与由控制器组成的控制平面存在于物理空间，利用数据平面中的主机、交换机、链路信息构建的数字孪生存在于虚拟空间；在物理空间中，控制平面负责完成网络流量转发控制，由控制器构建出执行DT
‑
DRL路由算法的代理，该代理记为DRL
‑
Agent，DRL
‑
Agent基于DT
‑
DRL路由算法计算模型和网络状态信息，为每条网络流量规划合适的转发路径；DT
‑
DRL路由算法包括在控制器部署的决策网络Policy Network，在数字孪生中部署的训练网络Training Network和辅助训练的目标网络Target Network；数字孪生根据数据平面映射的历史网络数据分析网络状态和收集决策经验，并根据决策经验更新路由算法的经验回放池；通过周期性地训练Training Network，以及向控制器更新Policy Network的参数，实现路由算法的动态更新；当控制器收到路由请求后，将流量信息和数字孪生提供的信息作为环境状态，为流量从多条备选路径中选出最优路径，并根据该条路径计算出相关交换机的路由转发表，完成流量的高效传输；设数据平面有C个交换机和N条链路，将数据平面简化为一个无向图G＝{SW，E}，其中SW＝{s1，s2，
…
，s
C
}表示由交换机组成的集合，交换机s
i
连接的主机集合记为H
i
＝{h
i，1
，h
i，2
，
…
}，i∈[1，C]；E＝{e
1，2
，e
1，3
，
…
，e
2，3
，
…
}表示由N条链路组成的集合，e
i,j
表示s
i
和s
j
之间存在一条链路，i∈[1，C]，j∈[1，C]，i≠j；其具有通信距离d
i，j
、链路带宽b
i，j
和链路利用率u
i,j
(t)三种属性，其中d
i，j
和b
i，j
为常量，u
i,j
(t)表示e
i,j
在单位时间内链路上有数据通过的时间，该变量随时间t变化；源主机h
i，j
向目的主机h
i
′
，j
′
在时刻t发起一条流量请求flow，首先将该流量请求flow传输到与源主机相连的交换机，flow中包含用于路由决策的属性有源主机地址、目的主机地址和流量大小三种数据，i≠i
′
，j≠j
′
；当数据平面中的交换机收到flow时，交换机会将其上报给控制器，控制器随后利用数字孪生提供的网络状态和flow信息作为Policy Network的状态输入，PolicyNetwork输出的动作决策将作为该条flow的最佳传输路径，经过路由表计算后下发到网络中的相关交换机，从而完成该条flow的传输；当一条flow传输到目的主机后，在下一次向数字孪生映射主机的工作状态数据时，数字孪生能够根据该条流量的实际丢包率和时延，为DRL
‑
Agent制定奖励值，并将该条决策的网络状态空间信息s、有效决策信息a、奖励值r
t
和下一时刻的网络状态空间信息s
′
作为一条决策经验放入经验回放池；丢包率loss(t)表示为该条flow到达目的主机的数据包数量Num
R
与源主机发出的数据包数量Num
T
的比值，即在经验回放池中的经验数量满足预设条件时，数字孪生中的Training Network和Target Network会通过经验回放的方式学习历史的网络状态变化情况，并调整Training Network和Target Network中的神经元参数，以及将Training Network中的参数和DRL
‑
Agent中Policy Network的参数进行同步，实现路由算法的异步更新。2.根据权利要求1所述的一种基于数字孪生的SDN路由优化方法，其特征在于，所述DT
‑
DRL路由算法以深度Q网络为核心，设计DQN的状态空间、动作空间、奖励函数和学习过程；(1)状态空间：控制平面中的DRL
‑
Agent利用数字孪生提供的网络信息，能够得到当前
的网络环境状态；用三元组State＝＜Link，Queue，Flow＞表示状态空间，其中包含链路信息Link，交换机的端口队列信息Queue，以及流量信息Flow；a.链路信息Link：包括通信距离D、链路带宽B和链路利用率U，其中D、B和U分别表示由网络中所有链路e
i,j
之间的距离d
i，j
、带宽b
i,j
和时刻t的链路利用率u
i,j
(t)组成的集合；b.队列信息Queue：包括队列长度Length和逗留时延Wait，其中Length和Wait分别表示利用排队理论分析得到的由所有交换机端口port
i,j
在时刻t的平均队列长度length
i,j
(t)和数据包平均逗留时延wait
i,j
(t)组成的集合；c.流量信息Flow：由源交换机地址src、目的交换机地址dst和流量大小size组成的集合；(2)动作空间：动作空间是由DRL
‑
Agent所有可执行动作所组成的集合，用集合A表示：A＝{a1，a2，
…
，a
Z
}(2)在公式(2)中，Z＝C
×
(C
‑
1)
×
K为控制器提供的所有备选路径数量，a
i
表示控制器提供的任一条备选路径；对于源交换机s

【专利技术属性】
技术研发人员：韦云凯，吴佳平，朱佑存，冷甦鹏，杨鲲，刘强，
申请(专利权)人：电子科技大学长三角研究院衢州，
类型：发明
国别省市：