一种基于DDPG深度强化学习算法的TSSDN动态路由决策方法技术

公开本发明专利技术提出了一种动态路由决策方法，具体设计一种基于DDPG深度强化学习算法的TSSDN动态路由决策方法，旨在根据网络动态感知的预测结果利用深度强化学习算法设计动态路由决策，降低时间敏感网络中低优先级流的传输时延。本发明专利技术采用深度学习算法实时预测交换机队列长度，然后根据预测结果进行下一跳路由决策，预测精确度越高，动态路由效果越好，提高决策效率。实现步骤为：1)构建TSSDN网络节点架构；2)构建网络拓扑结构；3)构建基于PCA的拓扑特征提取；4)构建基于深度学习算法的预测模型；5)构建基于深度强化学习算法的路由决策模型；6)结合预测结果对基于深度强化学习的路由决策模型进行迭代训练。本发明专利技术可用于远程医疗等场景。等场景。等场景。

【技术实现步骤摘要】
一种基于DDPG深度强化学习算法的TSSDN动态路由决策方法


[0001]本专利技术属于计算机网络
，设计一种基于深度强化学习的动态路由决策方法，具体涉及一种基于DDPG深度强化学习算法的TSSDN动态路由决策方法，可用于远程医疗、车载以太网等领域。

技术介绍

[0002]软件定义时间敏感网络TSSDN架构，是根据SDN控制器实现监控、感知、决策、执行四个主要的管理功能，来建立和控制时间敏感网络TSN流程。对于时间敏感网络而言，数据流的超低时延传输是其硬性要求，进行路由决策的目的是实现数据流在网络节点中的负载均衡，从而减少路由路径的延迟。路由决策规定了流的具体转发路径，其策略效果的好坏依赖于传输过程中对于网络状态的感知与预测精度，尤其是交换机缓冲区的队列长度。当流在网络中进行传输时，如果不能实时感知并准确预测出网络中下一跳交换机缓冲区的队列长度，那么面对网络拥塞情况时，如果数据流不能及时避开拥堵路段，那么其传输时延将无法得到保证。路由决策方法可分为传统路由决策方法和基于深度强化学习的路由决策方法，其中，传统路由决策方法缺乏对于网络交换机状本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DDPG深度强化学习算法的TSSDN动态路由决策方法，其特征在于，首先对时间敏感网络的交换机队列长度进行预测，然后基于队列预测结果进行路由决策，包括如下步骤：S1、构建网络拓扑结构；S2、提取网络拓扑特征；S3、通过SDN控制器感知TSN网络状态，并判断是否发生改变，若是则返回步骤S2重建拓扑结构，否则执行步骤S4；S4、构建基于长短时记忆网络LSTM深度学习算法的交换机队列长度预测模型，以SDN控制器监控的监控信息为输入对模型进行优化训练，使得该模型用于输出交换机队列长度；S5、构建基于DDPG深度强化学习算法的路由决策模型；S6、以感知的TSN网络状态的预测结果作为输入，对基于深度强化学习的路由决策模型进行反复迭代训练，并到达截止迭代次数时输出路由决策模型；所述该路由决策模型用于对在线实时采集的数据流进行路由决策输出决策结果，并由网络拓扑内的相关TSN节点按照该路由决策结果转发数据流至下一跳节点。2.根据权利要求1所述的基于DDPG深度强化学习算法的TSSDN动态路由决策方法，其特征在于，所述网络拓扑结构为：N个TSN节点，度为d的网络拓扑图G，其中，N≥10，d≥2，每个TSN交换机节点通过d条边与其他交换机节点进行相连，形成拓扑图。3.根据权利要求1所述的基于DDPG深度强化学习算法的TSSDN动态路由决策方法，其特征在于，所述提取网络拓扑特征，包括：(3a)初始化网络拓扑结构的邻接矩阵X
N
×
N
；(3b)基于主成分分析PCA算法计算网络拓扑的协方差矩阵，计算各交换机的主成分得分P作为网络拓扑特征，用于表示各交换机之间的连接关系。4.根据权利要求1所述的基于DDPG深度强化学习算法的TSSDN动态路由决策方法，其特征在于，所述SDN控制器监控的监控信息包括：拓扑特征、流量模式以及交换机队列长度。5.根据权利要求1所述的基于DDPG深度强化学习算法的TSSDN动态路由决策方法，其特征在于，所述构建基于长短时记忆网络LSTM深度学习算法的交换机队列长度预测模型，包括：(4a)输入输出：拓扑结构特征、流量模式和队列长度状态被作为输入，神经网络在下一个时隙的TSN交换机队列长度作为输出；(4b)模型训练：TSN交换机队列预测的模型是由L层和t_x个时间步组成的，L层包括输入x、输出y和位于中间的(L
‑
2)个隐藏层，数据在模型中通过前向公式进行传播，最终输出交换机队列长度预测值Q
k
；(4c)模型求解：选择均方误差MSE作为神经网络的目标函数，通过MSE值的计算来进行梯度下降的求解，最终通过学习得到各个网络参数的值；并通过Adam算法进行优化。6.根据权利要求5所述的基于DDPG深度强化学习算法的TSSDN动态路由决策方法，其特征在于，所述隐藏层和输出层的激活函数分别为和7.根据权利要求1所述的基于DDPG深度强化学习算法的TSSDN动态路由决策方法，其特征在于，所述构建基于DDPG深度强化学习算法的路由决策模型，包括：
构建基于深度确定性策略梯度DDPG深度强化学习算法的路由决策模型，其中DDPG深度强化学习算法中行为决策算法π中的动作网络及其目标网络，以及行为价值算法Q中的价值网络及其目标网络，均采用结构为三层全连接网络的神经网络，随机初始化π中的动作网络参数θ及其目标网络参数θ'
←
θ，和Q中的价值网络参数ω及其目标网络参数ω'
←
ω，用于感知TSN网络状态放入经验回放集合D中。8.根据权利要求1所述的基于DDPG深度强化学习算法的TSSDN动态...

【专利技术属性】
技术研发人员：王馨，尚志军，王忠峰，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：