一种基于多智能体强化学习的时延容忍网络路由算法制造技术

本发明专利技术公开一种基于多智能体强化学习的时延容忍网络路由算法，其特征在于，步骤包括：一、将时延容忍网络节点进行Louvian分簇算法，提出了一种集中式加分布式的分层架构；二、结合正社会特性将DTN节点选择下一跳问题建模为分布式部分可观测马尔科夫决策过程(Dec‑POMDP)模型；与现有技术相比，本专利技术方案对比现有的基于社会属性的时延容忍网络路由方案，提出了一种分层架构，能够方便地捕捉边缘设备的社会信息；一方面分布式地执行计算中心下发的路由决策，另一方面在计算中心根据服务单元传来的状态集中式地训练路由算法。能够更有效地利用社会特性进行时延容忍网络中的路由转发，使得投递率提高和平均时延降低。

【技术实现步骤摘要】
一种基于多智能体强化学习的时延容忍网络路由算法
本专利技术涉及网络路由算法
，尤其涉及一种基于多智能体强化学习的时延容忍网络路由算法。
技术介绍
时延容忍网络(DTN)是一种无线自组织网络，它在端到端路径事先不存在的网络环境中采用存储-携带-转发的路由决策。与传统的无线网络相比，DTN具有更高的灵活性，可以更好地应用于高时延、频繁链路断开的网络环境中。目前，许多路由协议被用于处理时延容忍网络，它们大多是依赖于每个节点指标之间的比较做出转发策略。然而，由于链路的不可靠性，消息的传递效率很差。基于社会的方法比基于机会的路由协议更有前途，因为社会属性在预测和处理DTN中的路由时比移动性更稳定。但是，这些算法向具有较高社会性指标的节点无限制地传递大量的消息，导致节点缓冲区队列长度过大，影响整体路由性能。
技术实现思路
为此本专利技术针对时延容忍网络中常规路由算法投递率效果不佳问题，提出了一种基于多智能体强化学习的时延容忍网络路由算法；随后，结合正社会特性将DTN节点选择下一跳问题建模为分布式部分可观测马尔科夫决策过程(本文档来自技高网...

【技术保护点】
1.一种基于多智能体强化学习的时延容忍网络路由算法，其特征在于，步骤包括：/n一、将时延容忍网络节点进行Louvian分簇算法，提出了一种集中式加分布式的分层架构；/n二、结合正社会特性将DTN节点选择下一跳问题建模为分布式部分可观测马尔科夫决策过程(Dec-POMDP)模型；/n三、最后通过合作式多智能体强化学习QMIX进行求解。/n

【技术特征摘要】
1.一种基于多智能体强化学习的时延容忍网络路由算法，其特征在于，步骤包括：
一、将时延容忍网络节点进行Louvian分簇算法，提出了一种集中式加分布式的分层架构；
二、结合正社会特性将DTN节点选择下一跳问题建模为分布式部分可观测马尔科夫决策过程(Dec-POMDP)模型；
三、最后通过合作式多智能体强化学习QMIX进行求解。


2.根据权利要求1所述的基于多智能体强化学习的时延容忍网络路由算法，其特征在于，所述算法在社区层面引入了两种不同中心度指数，同时考虑了随时间的折扣因子,wlocal表示社区Ci的本地中心度指数：



其中，M表示节点s与节点d的总连接次数，φ(0<φ<1)是指折扣系数，t是指时间指数：



其中，Tnow是仿真时间，Tinterval是可变时间片参数。同理，...

【专利技术属性】
技术研发人员：姚海鹏，韩晨晨，忻向军，张尼，童炉，李韵聪，
申请(专利权)人：北京邮电大学，西藏高驰科技信息产业集团有限责任公司，
类型：发明
国别省市：北京;11