基于DDQN的TSN路由选择方法技术

本申请提供了一种基于Dueling Deep Q Network(DDQN)的时间敏感网(TSN)路由选择方法，所述方法包括：基于多控制器软件定义网络(SDN)，根据工业现场将路由划分为多个区域，构建TSN网络的系统模型；构建路由选择问题的马尔可夫决策模型；获取拓扑和流信息，搜索可达路径生成候选路径表；为业务流初始化路由路径形成初始网络；以平均最小端到端时延为优化目标、流的时延要求为约束，利用DDQN算法对初始网络进行优化训练；当拓扑或业务流信息改变时，重新对模型进行训练；控制器为业务流分配路由路径并下发至转发平面。这是一种被数据驱动的集中式多控制器路由方法，可部署于工业TSN网络中，能够适应动态变化的业务和跨车间信号传输需求，并确保业务传输服务质量。并确保业务传输服务质量。并确保业务传输服务质量。

【技术实现步骤摘要】
基于DDQN的TSN路由选择方法


[0001]本专利技术涉及TSN通信
，具体是一种基于DDQN的TSN路由选择方法。

技术介绍

[0002]工业制造领域中柔性制造的模式普遍存在，该模式是以消费者为导向的，以需定产的方式和传统大规模量产的模式相对立，在柔性制造中，考验的是生产线和供应链的反应速度，且现场设备普遍存在于不同车间或区域，需要同时具备各业务单元互联和现场与云端数据互通的能力，而该场景下实时的设备互联和数据互通需求满足度不高。现需要将TSN网络部署于控制器与现场设备之间和控制器与控制器之间，实现控制信号的高质量确定性时延传输和协同信号的高精度同步传输，同时需合适的TSN路由算法来提高系统适应外部变化(如生产需求变化导致业务流变化)和内部变化(如设备故障)的能力。目前，工业制造领域大多路由选择方案均为传统的刚性自动化生产线定制，假设业务流信息是固定的，且未对该领域现场设备存在于不同车间的典型网络提出针对性路由方案，因而无法为业务流提供最佳路由路径，网络针对性和时延确定性低，无法保证其传输服务质量，需要一种具有网络针对性和时延确定性的自适应智能路由选择方法。

技术实现思路

[0003]为解决将TSN部署到工业制造领域时数据互通需求满足度低和现有路由技术存在的缺陷，提出一种对服务质量敏感的自适应智能路由选择方法，以最小化平均端到端时延为优化目标，保证柔性工业制造领域动态变化的业务流的传输服务质量，其步骤如下：
[0004]步骤1：构建基于SDN的多控制器协作TSN网络模型，将转发平面的路由根据车间情况划分为以车间为单位的多个区域，以路由器端口为节点构建转发平面网络拓扑的数学模型，跳转至步骤2；
[0005]步骤2：构建TSN网络中路由选择问题的马尔可夫决策模型，确定状态空间、动作空间和奖励函数，跳转至步骤3；
[0006]步骤3：获取业务流信息，搜索所有流的可达路径放入候选路径表中备用，跳转至步骤4；
[0007]步骤4：基于转发平面网络拓扑的数学模型，根据候选路径表，利用现有TSN路由算法为业务流初始化路由路径形成初始化网络，跳转至步骤5；
[0008]步骤5：所述控制器作为智能体，基于转发平面网络拓扑的数学模型和马尔可夫决策模型，以最小化平均端到端时延为优化目标，以各业务流时延要求为约束，利用DDQN算法对初始网络进行优化训练，得到各业务流的最佳路由选择策略，跳转至步骤6；
[0009]步骤6：控制器根据最佳路由选择策略为各业务流分配路由路径，并下发至转发平面，跳转步骤7；
[0010]步骤7：判断拓扑或业务流信息是否改变，若是则跳转至步骤8，反之则跳转至步骤10；
[0011]步骤8：判断是否拓扑改变或业务流增加，若是则跳转至步骤3，反之则跳转至步骤9；
[0012]步骤9：更新网络资源占用信息，跳转至步骤5；
[0013]步骤10：路由策略保持不变。
[0014]进一步的，所述步骤1包括如下具体步骤：
[0015]步骤1
‑
1：所述基于SDN的多控制器协作TSN网络模型包括控制平面的多个控制器、转发平面的路由拓扑和应用平面，所述控制器分为一个集中控制器和多个子控制器，可获取所述路由拓扑信息，其中，每个子控制器对应一个车间，集中控制器与所有子控制器相连，可掌控全局信息；
[0016]步骤1
‑
2：所述车间情况是指现场设备存在于不同车间，依据其特点对转发平面的路由进行区域划分，将一个车间划分为一个区域；
[0017]步骤1
‑
3：所述转发平面网络拓扑的数学模型为基于区域划分的有序二元组(V，E)，记为图G＝(V，E)，其中，V＝{v1，v2，...，v
n
}定义路由器端口的集合，E＝{e1，e2，...，e
m
}定义路由器端口与端口之间的链路集合，链路是双向的，点集V中各点之间的距离用距离矩阵阵表示，其中w
ij
表示节点i和节点j之间的距离，其中，表示节点i和节点j之间的距离，其中，
[0018]进一步的，所述步骤2包括如下具体步骤：
[0019]步骤2
‑
1：所述TSN网络为转发平面网络拓扑，其已进行过区域划分和数学模型构建；
[0020]步骤2
‑
2：所述马尔可夫决策过程在每个离散的时间步长t处，智能体观察环境的状态s
t
，并根据其策略执行一个动作，然后收到一个及时奖励，环境进入下一个状态s
t+1
，转换过程定义为四元组<s
t
，a
t
，r
t
，s
t+1
>(3)；
[0021]步骤2
‑
3：所述四元组中s
t
∈S表示环境在t处的状态，该状态包括网络拓扑信息、路由器端口占用情况和当前训练的业务流信息；
[0022]步骤2
‑
4：所述四元组中a
t
∈A是智能体t处的动作，包括当前训练的数据包转发的路径，即它决定将数据包转发的路由路径；
[0023]步骤2
‑
5：所述四元组中r
t
∈R是智能体模拟通过该路由路径发数据包收到的奖励，其定义为r
t
＝
‑
(p
t
+q
t
)(4)，其中，p
t
表示该数据包执行动作a
t
后的估计排队延迟，q
t
表示该路由路径的传播时延；
[0024]步骤2
‑
6：所述四元组中s
t+1
∈S表示在状态s
t
执行动作a
t
后的下一状态。
[0025]进一步的，所述步骤3包括如下具体步骤：
[0026]步骤3
‑
1：所述业务流信息包括流周期T
k
、数据包大小M
k
、截止时间D
k
、优先级PR
k
起始点PS
k
和终点PE
k
，其中下标k为流标志，表示业务流f
k
∈F的流信息；
[0027]步骤3
‑
2：所述可达路径指搜索从起始点到终点的所有可达链路，并将其放入所述候选路径表中备用，其中，每个业务流均有一个对应的候选路径表；
[0028]步骤3
‑
3：所述获取拓扑和业务流信息，需要检验拓扑是否变化，若拓扑发生变化，则重新搜索所有业务流的可达路径并生成对应的候选路径表，若拓扑未发生变化，则仅生成新增业务流的候选路径表，其他业务流仍沿用原有候选路径表。
[0029]进一步的，所述步骤4包括如下具体步骤：
[0030]步骤4
‑
1：获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于DDQN的TSN路由选择方法，其特征在于，包括以下步骤：构建基于SDN的多控制器协作TSN网络模型，将转发平面的路由根据车间情况划分为以车间为单位的多个区域，以路由器端口为节点构建转发平面网络拓扑的数学模型；构建TSN网络中路由选择问题的马尔可夫决策模型，确定状态空间、动作空间和奖励函数；获取业务流信息，搜索所有流的可达路径放入候选路径表中备用；基于转发平面网络拓扑的数学模型，根据候选路径表，利用现有TSN路由算法为业务流初始化路由路径形成初始化网络；所述控制器作为智能体，基于转发平面网络拓扑的数学模型和马尔可夫决策模型，以最小化平均端到端时延为优化目标，以各业务流时延要求为约束，利用DDQN算法对初始网络进行优化训练，得到各业务流的最佳路由选择策略；控制器根据最佳路由选择策略为各业务流分配路由路径，并下发至转发平面；若拓扑或业务流信息发生改变，则更新网络资源占用信息并重新优化训练。2.根据权利要求1所述的基于SDN的多控制器协作TSN网络模型，其特征在于，包括控制平面的多个控制器、转发平面的路由拓扑和应用平面，所述控制器分为一个集中控制器和多个子控制器，可获取所述路由拓扑信息，其中，每个子控制器对应一个车间，集中控制器与所有子控制器相连，可掌控全局信息。3.根据权利要求1所述的车间情况，其特征在于，是指现场设备存在于不同车间，依据其特点对转发平面的路由进行区域划分，将一个车间划分为一个区域。4.根据权利要求1所述转发平面网络拓扑，其特征在于，数学模型为基于区域划分的有序二元组(V，E)，记为图G＝(V，E)，其中，V＝{v1，v2，...，v
n
}定义路由器端口的集合，E＝{e1，e2，...，e
m
}定义路由器端口与端口之间的链路集合，链路是双向的，点集V中各点之间的距离用距离矩阵表示，其中w
ij
表示节点i和节点j之间的距离，其中，5.根据权利要求1所述马尔可夫决策过程，其特征在于，在每个离散的时间步长t处，智能体观察环境的状态s
t
，并根据其策略执行一个动作，然后收到一个及时奖励，环境进入下一个状态s
t+1
，转换过程定义为四元组<s
t
,a
t
,r
t
,s
t+1
>(3)，所述四元组中s
t
∈S表示环境在t处的状态，该状态包括网络拓扑信息、路由器端口占用情况和当前训练的业务流信息，所述四元组中a
t
∈A是智能体t处的动作，包括当前训练的数据包转发的路径，即它决定将数据包转发的路由路径，所述四元组中r
t
∈R是智能体模拟通过该路由路径发数据包收到的奖励，其定义为r
t
＝
‑
(p
t
+q
t
)(4)，其中，p
t
...

【专利技术属性】
技术研发人员：杨柳，李新月，鲁银芝，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：