一种分域星上路由决策与波长分配优化方法技术

本申请提供卫星卫星通信技术领域中的一种分域星上路由决策与波长分配优化方法。在卫星通信路由与波长分配技术领域中，现有技术一般集中式路由与波长分配方法，这些集中式路由与波长分配方法虽然可以在理论上寻找到路由最优解，有效减小路由阻塞率并极大提高网络吞吐量，但实际上随着卫星网络规模逐渐扩大，卫星网络全局信息的获取也成为了难题，这些算法并不能实际应用于大规模卫星网络中。本方法创新地提出了分域星上路由决策与波长分配优化方法，以分域的形式对卫星网络分布式管控，提出了基于独立分层多智能体深度强化学习的路由决策优化，减小了网络状态信息获取难度，同时采用信息素机制维持相邻域的网络信息沟通，提高了卫星网络路由与波长分配成功率，有效提高网络链路利用率。高网络链路利用率。高网络链路利用率。

【技术实现步骤摘要】
一种分域星上路由决策与波长分配优化方法


[0001]本专利技术涉及卫星通信
，特别是涉及一种分域星上路由决策与波长分配优化方法

技术介绍

[0002]随着即时通信业务和视频点播业务需求的急速上涨，与物联网技术的飞速发展。在万物互联的时代，不仅存在人与人之间的通信需求，物与物之间的通信也变得更为频繁与重要。此外，对于遥远山区与海洋的通信需求也逐渐显现出来。传统的地面网络受限于容量和覆盖面积已经无法完全满足大数据传输与高可靠性接入服务。因此卫星网络因为其独有的高覆盖、长距离、多接入能力使其在未来网络发展的重要性日渐加深。其中，随着小型轻量化的激光器投入生产并在卫星上进行使用，卫星光网络已经成为卫星网络中不可或缺的组成部分。而普通波分复用光网络存在着波长颗粒度大的问题，导致大量通信资源被浪费。为了解决这一问题，一系列路由与波长分配算法被提出，这使得在卫星光网络的波长资源利用率得到了大大提高。
[0003]路由与波长分配算法是决定卫星光网络性能的关键技术，路由是指在网络拓扑中从源节点到目的节点的路径顺序。相对于地面通信网络，卫星网络拓扑具有高动态性且节点分布比地面网络拓扑的更为密集与规律，故而采用常规的路由算法会导致卫星拓扑的局部流量堆积导致通信请求资源预留失败，且因为卫星星座链路会随着时间而产生断联现象，这就使得现有地面通信网络路由算法不适用于卫星通信，需要在地面通信网络路由算法的基础上进行卫星通信网络路由算法的研究，所以随着卫星网络的发展卫星路由算法也渐渐成为国内外学者的研究方向。在波长分配方面，不合理的波长分配方式会导致卫星光网络中产生大量的波长碎片，这些波长碎片的波长容量无法满足单个业务的需求，但波长碎片的过多累计也会导致波长资源的过度浪费，因此波长分配也是光网络中的重要问题之一。
[0004]现阶段，基于LEO的单层卫星星座网络结构经过近几十年的快速发展，卫星光网络可以承担全球物联网的接入和传输功能。由几十颗卫星组成的光学卫星网络可以提供几乎全球的覆盖范围。低轨卫星通过形成星座提供足够的地面覆盖面积。此外，低轨卫星可以通过微波束访问传统地面网络无法提供服务的远程地面网络。在低轨星座中，卫星通过激光束连接，形成永久或非永久激光链路。此外，随着软件定义网络技术的发展和应用，数据传输和计算解耦，可以缓解卫星计算能力不足的压力。光卫星网络的优势促进了民用、军事和商业通信的发展。
[0005]优化算法需要具有的高鲁棒性和易于修改的特点才适合应用于卫星的高动态性网络拓扑上，针对卫星光网络中的路由和波长分配问题，当前路由策略存在卫星间链路丢失和较高的端到端时延等问题。如今在解决网络路由问题方面的研究越来越多，其中大部分研究的目的是降低阻塞率、降低时延、提高收敛速度以改善网络性能。

技术实现思路

[0006]本专利技术实施例的目的在于提供一种分域星上路由决策与波长分配优化方法，以实现卫星网络控制器分布式路由管控、路由业务的低阻塞率、同时保证卫星网络的高吞吐量。具体技术方案如下：
[0007]本专利技术实施的一方面，提供了分布式路由决策控制架构，所述基于LEO卫星网络的分布式路由决策控制架构，其目的在与在LEO卫星网络中，由于网络规模节点较大、网络动态性强、其网络实时全局状态统计难度大、且采用传统泛洪方法开销过大，在现实中无法采用传统的集中式路由与波长分配优化方法对大规模LEO卫星网络进行优化。基于LEO卫星网络的分布式路由决策控制架构主要实施与LEO的卫星星座网络，LEO卫星之间的排列呈曼哈顿网络的形式。除边缘节点，每个卫星节点都有四个链路与其他卫星相连。
[0008]本专利之所以采用LEO星座，是因为LEO卫星具有传播时延小、误码率低、能够覆盖极地区域等优点，有利于避免GEO卫星无法覆盖极地区域和LEO卫星星上处理能力弱等缺点，而且该模型也采用了冗余设计，这是因为卫星节点需要有冗余，以防通信过程中节点故障从而影响整个网络的性能。
[0009]所述基于LEO卫星网络的分布式路由决策控制架构，在LEO卫星星座网络的基础上，提出了基于LEO卫星网络的分布式路由决策控制架构，将整个低轨卫星星座按曼哈顿街区网络划分为若干个域，每个域布置一个软件定义网控制器，作为该域的路由域波长分配决策控制器；当一个业务到来时，所属域将会根据业务的源节点和目的节点的路由器地址进行纯分布式的域内路由或跨域路由决策，在每个域内的控制器储存了该域内每对节点之间路由路径与波长若干种预方案。
[0010]本专利技术实施的一方面提供了一种基于采用基于独立分层多智能体深度强化学习的路由决策优化，所述采用基于独立分层多智能体深度强化学习的路由决策优化，其主要包括，网络中每个域都存在两个互相依存的路由决策模块，其分别为域内路由控制器和域内路由控制器；域内路由控制器仅负责对于域内路由业务的优化，对于跨域路由业务，则需要域间路由控制器；跨域路由控制器负责对于跨域路由业务的优化，它本身并不直接负责路由决策的发出，而是为域内路由控制器指定跨域路由链路(即一个边缘域内目的节点)，将路由业务传送至邻接域并采用首次匹配法分配波长。
[0011]所述基于独立分层多智能体深度强化学习的路由决策，实施于低轨卫星星座的每个域内，其每个域内的工作原理如图1所示，将低轨卫星路由决策任务抽象为马尔可夫决策过程，即状态
‑
>动作
‑
>环境变化
‑
>奖励反馈的马尔可夫链；首先域内路由控制器观察出所属域内的网络状态；其网络状态S(B,D,λ,P)包含所属域内的所有链路的链路距离D、剩余波长容量B、多普勒频移λ、路由占用标记为P；域间路由控制器观察所属域的域间链路网络状态和域内链路的负载模糊分布S
c
(B
d
,B,D,λ,P,R),B
d
代表将域内卫星网络划分为几个大域后每个域内的综合资源分布；B代表跨域链路的波长资源分布；D代表跨域链路的链路距离分布；λ代表跨域链路的多普勒频移分布；P代表跨域链路的信息素浓度分布，代表相邻域的跨域链路质量，作为相邻域R代表待标记的路由表标记位；当一个路由业务到来时，控制器将首先判断是否为跨域路由业务，当判断为域内路由业务，则只有域内路由控制器负责路由决策输出；首先域内路由控制器通过观察域内网络状态；将几条备选的路由方案在网络观察状态的路由占用标记位进行标记，并将每个标记好的备选路由方案输入值图神经网络
中，根据式(1)图神经网络的输出值为不同路由路径的评分；
[0012][0013]域内路由控制器根据贪婪公式，选择当前评分最高的路由路径作为路由策略进行输出；低轨卫星网络根据策略进行路由转发，采用首次匹配法分配波长，采用首次匹配法分配波长，并根据实际转发情况对域内路由控制器反馈奖励值R，如式(2)所示，为所选路径的最小波长资源与波长资源与域中最大波长资源的比值；
[0014][0015]当判断为跨域路由业务时，分别由域内路由控制器和跨域路由控制器对域内链路和跨域链路进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分域星上路由决策与波长分配优化方法，其特征在于，该方法包括如下步骤：第一步：将整个低轨卫星星座按曼哈顿街区网络划分为若干个域，每个域布置一个软件定义网控制器，作为该域的路由域波长分配决策控制器；当一个业务到来时，所属域将会根据业务的源节点和目的节点的路由器地址进行纯分布式的域内路由或跨域路由决策，在每个域内的控制器储存了该域内每对节点之间路由路径与波长若干种预方案；第二步：每个域的软件定义网控制器采用基于独立分层多智能体深度强化学习的路由决策优化；其特征在于，提出了分层路由决策架构；将每个域的软件定义网控制器拆分为两个不同的模块，其分别为域内路由控制器和域内路由控制器；域内路由控制器仅负责对于域内路由业务的优化，对于跨域路由业务，则需要域间路由控制器；跨域路由控制器负责对于跨域路由业务的优化，它本身并不直接负责路由决策的发出，而是为域内路由控制器指定跨域路由链路(即一个边缘域内目的节点)，将路由业务传送至邻接域；所述基于独立分层多智能体深度强化学习的路由决策，实施于低轨卫星星座的每个域内，其每个域内的工作原理包括，将低轨卫星路由决策任务抽象为马尔可夫决策过程，即状态
‑
>动作
‑
>环境变化
‑
>奖励反馈的马尔可夫链；首先域内路由控制器观察出所属域内的网络状态；其网络状态S(B,D,λ,P)包含所属域内的所有链路的链路距离D、剩余波长容量B、多普勒频移λ、路由占用标记为P；域间路由控制器观察所属域的域间链路网络状态和域内链路的负载模糊分布S
c
(B
d
,B,D,λ,P,R),B
d
代表将域内卫星网络划分为几个大域后每个域内的综合资源分布；B代表跨域链路的波长资源分布；D代表跨域链路的链路距离分布；λ代表跨域链路的多普勒频移分布；P代表跨域链路的信息素浓度分布，代表相邻域的跨域链路质量，作为相邻域R代表待标记的路由表标记位；当一个路由业务到来时，控制器将首先判断是否为跨域路由业务，当判断为域内路由业务，则只有域内路由控制器负责路由决策输出；首先域内路由控制器通过观察域内网络状态；将几条备选的路由方案在网络观察状态的路由占用标记位进行标记，并将每个标记好的备选路由方案输入值图神经网络中，根据式(1)图神经网络的输出值为不同路由路径的评分；域内路由控制器根据贪婪公式，选择当前评分最高的路由路径作为路由策略进行输出；低轨卫星网络根据策略进行路...

【专利技术属性】
技术研发人员：张琦，李元锋，陈东，姚海鹏，钱晋希，刘亮，陶滢，田凤，田清华，王富，柴芙蓉，孙梦，陶宇航，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：