一种面向双层巨型星座的智能负载均衡方法及系统技术方案

本发明专利技术公开了一种面向双层巨型星座的智能负载均衡方法及系统，生成双层巨型星座网络拓扑；建立双层巨型星座分簇管理机制；簇首定期收集簇内各节点信息及其余簇首信息；基于其余簇首信息，本簇簇首使用长短期记忆网络完成其余簇负载预测；构建多智能体深度强化学习负载均衡模型，完成状态空间、动作空间、奖励函数、观测空间映射；卫星星载智能体依据部分观测，完成路由决策；簇首定期收集簇内经验信息，完成多智能体强化学习中心式网络训练；簇首定期下发智能体网络至各卫星，各卫星完成在线路由决策策略更新，并依据此策略完成路由决策。本发明专利技术实现了双层低轨巨型星座的智能负载均衡。衡。衡。

【技术实现步骤摘要】
一种面向双层巨型星座的智能负载均衡方法及系统


[0001]本专利技术属于无线通信
，具体涉及一种面向双层巨型星座的智能负载均衡方法及系统。

技术介绍

[0002]下一代通信系统6G(6
‑
Generation)旨在提供全球覆盖的低延迟和大带宽服务，以实现空天地海高速互联。近地轨道卫星(Low earth orbit,LEO)星座以其覆盖广、时延低等特点成为未来网络的重要组成部分。随着卫星发射成本和卫星设备成本的降低，低轨巨型星座得到快速发展。低轨巨型星座最显著的特点是卫星数量众多，通常可达上万颗。以SpaceX公司的巨型星座StarLink为例，截至2023年2月，StarLink已部署3600多颗卫星，并计划最终部署42000多颗卫星。LEO卫星星座规模的扩大虽然提高了卫星网络的传输容量和扩大了通信覆盖范围，但是也给卫星网络的系统设计和管理带来了巨大的挑战，尤其是在负载均衡策略方面。
[0003]低轨巨型星座卫星网络由于卫星数量众多，传输任务的传输跳数较传统低轨卫星星座网络大幅增加，给低轨巨型星座卫星网络的路由规划提出巨大挑战。随着卫星数量的增加，传输任务的转发次数逐渐增加，导致路由决策的计算量迅速增加。路由决策的开销会消耗低轨巨型星座卫星网络的大量资源，包括用于路由路径计算的计算资源和用于传输数据包的传输资源。但巨型星座受限于设备尺寸限制，其计算资源和传输资源通常并不充分。同时，卫星网络拓扑的频繁变化也给卫星网络传输的路由计算带来了极大的挑战。另外，低轨巨型星座的卫星受限于设备资源以及过大的网络规模，无法完成全局路由计算。
[0004]深度强化学习(Deep reinforcement learning,DRL)被认为是通用人工智能(Artificial General Intelligence,AGI)的最佳解决方案之一，深度强化学习算法的智能体可以动态感知环境的变化信息，并通过与环境的互相交流获取学习经验。DRL一般使用深度神经网络(Deep neural network,DNN)完成值函数或策略函数的近似，可适应较大规模的环境及样本数据。DRL在游戏、自动驾驶、机器人控制等领域取得了巨大的成功。同时，DRL在无线通信领域也得到了广泛的运用，如动态智能路由路径选择。
[0005]多智能体深度强化学习(Multi
‑
Agent Deep Reinforcement Learning,MADRL)是深度强化学习的进一步研究，其主要解决复杂环境中深度强化学习的多个智能体间的协作问题，以获取全局的最大收益。在更复杂的环境中，各智能体往往无法感知环境的全局状态，只能观察其周围一定范围内的信息，因此无法做出最佳决策。MADRL通过协调每个智能体的决策策略来实现全局奖励的最大化，从而完成对每个智能体的协调。可以预见，MADRL在处理大规模复杂网络的决策任务上具有比较大的优势。
[0006]实际巨星座部署时，通常使用多个星座多层星座的组合，如StarLink卫星星座共使用了分布于4个轨道高度的5个卫星星座，国内的GW卫星星座共使用了分布于4个轨道高度的7个卫星星座，通过不同高度和不同倾角的星座组合实现更有效的全球覆盖及更好的通信性能。
[0007]双层卫星星座的使用为双层传输协助提供了可能，通过不同层之间的协助传输，避免某一卫星星座负载过高，进而实现卫星网络全局负载均衡。目前国内外研究尚未提出双层巨型星座的负载均衡算法，对双层星座路由算法的研究主要集中在双层MEO
‑
LEO架构，上层MEO卫星负责其覆盖范围内LEO卫星路由表的计算及分发，并承担一部分任务传输分流，但这种路由算法无法应用于巨型星座。巨型星座设备简单，其计算资源无法承担MEO的巨量路由计算任务，其传输资源同样无法承担大容数据转发任务。其次，由于巨型星座规模巨大，全局拓扑信息收集过于困难，无法实现MEO基于全局拓扑的虚拟拓扑路由。

技术实现思路

[0008]本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种面向双层巨型星座的智能负载均衡方法及系统，用于解决双层巨型星座路由规划的技术问题，针对双层巨型星座的特点完成巨型星座的智能负载均衡。
[0009]本专利技术采用以下技术方案：
[0010]一种面向双层巨型星座的智能负载均衡方法，包括以下步骤：
[0011]S1、建立双层巨型星座网络，获取双层巨型星座卫星网络拓扑；
[0012]S2、基于步骤S1得到的双层巨型星座卫星网络拓扑建立双层巨型星座分簇管理机制；
[0013]S3、依据步骤S2建立的双层巨型星座分簇管理机制建立簇负载预测机制；
[0014]S4、依据步骤S2建立的双层巨型星座分簇管理机制及步骤S3的簇负载预测机制，完成多智能体深度强化学习模型与双层巨型星座模型的映射，构建双层巨型星座多智能体深度强化学习负载均衡模型；
[0015]S5、依据步骤S4构建的双层巨型星座多智能体深度强化学习负载均衡模型，星载智能体对环境进行观测获取观测空间，依据观测空间完成传输任务下一跳卫星的选取，完成动作执行过程；
[0016]S6、基于步骤S2得到的双层巨型星座分簇管理机制和步骤S5得到的星载智能体动作执行过程，簇首定期完成簇内卫星经验值的收集；基于步骤S3的簇负载预测机制，当前簇首定期收集其余各簇负载信息，输入长短期记忆网络并获取预测后的其余各簇负载信息；
[0017]S7、基于步骤S4构建的双层巨型星座多智能体深度强化学习负载均衡模型以及步骤S6簇首所收集的簇内信息和预测后其余各簇负载信息，多智能体深度强化学习模型完成中心式训练；然后簇首下发训练后的星载智能体网络至簇内各卫星完成智能体网络更新，依据更新后的智能体网络完成在线动作决策。
[0018]具体的，步骤S1中，双层巨型星座卫星网络拓扑中，每层巨型星座的每颗卫星为拓扑节点，每层巨型星座的层内星间链路及层间星间链路作为拓扑边。
[0019]具体的，步骤S2中，双层巨型星座分簇管理机制具体为：
[0020]使用分层分簇管理，巨型星座各层进行分簇管理，簇内卫星数量相等；分簇内包括簇首及簇成员，簇首完成簇内成员的管理；
[0021]簇首负责簇内成员路由决策的下发及信息的收集，簇成员负责执行簇首路由决策并定期上传其经验值；
[0022]上下层簇首之间存在层间星间链路，部署于各簇的簇首，定期交换信息，以完成层
间簇管理。
[0023]具体的，步骤S3中，簇负载预测机制具体为：
[0024]当前簇首完成其余簇负载信息收集，并使用部署于簇首的长短期记忆网络完成双层巨型星座网络各簇负载信息预测。
[0025]具体的，步骤S4中，双层巨型星座多智能体深度强化学习负载均衡模型包括中心式网络和智能体网络；
[0026]中心式网络部署于簇首，负责定期收集簇内信息及簇间负载信息，完成智能体网络的训练，并下发训练后的智能体网络至簇内各卫星；
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向双层巨型星座的智能负载均衡方法，其特征在于，包括以下步骤：S1、建立双层巨型星座网络，获取双层巨型星座卫星网络拓扑；S2、基于步骤S1得到的双层巨型星座卫星网络拓扑建立双层巨型星座分簇管理机制；S3、依据步骤S2建立的双层巨型星座分簇管理机制建立簇负载预测机制；S4、依据步骤S2建立的双层巨型星座分簇管理机制及步骤S3的簇负载预测机制，完成多智能体深度强化学习模型与双层巨型星座模型的映射，构建双层巨型星座多智能体深度强化学习负载均衡模型；S5、依据步骤S4构建的双层巨型星座多智能体深度强化学习负载均衡模型，星载智能体对环境进行观测获取观测空间，依据观测空间完成传输任务下一跳卫星的选取，完成动作执行过程；S6、基于步骤S2得到的双层巨型星座分簇管理机制和步骤S5得到的星载智能体动作执行过程，簇首定期完成簇内卫星经验值的收集；基于步骤S3的簇负载预测机制，当前簇首定期收集其余各簇负载信息，输入长短期记忆网络并获取预测后的其余各簇负载信息；S7、基于步骤S4构建的双层巨型星座多智能体深度强化学习负载均衡模型以及步骤S6簇首所收集的簇内信息和预测后其余各簇负载信息，多智能体深度强化学习模型完成中心式训练；然后簇首下发训练后的星载智能体网络至簇内各卫星完成智能体网络更新，依据更新后的智能体网络完成在线动作决策。2.根据权利要求1所述的面向双层巨型星座的智能负载均衡方法，其特征在于，步骤S1中，双层巨型星座卫星网络拓扑中，每层巨型星座的每颗卫星为拓扑节点，每层巨型星座的层内星间链路及层间星间链路作为拓扑边。3.根据权利要求1所述的面向双层巨型星座的智能负载均衡方法，其特征在于，步骤S2中，双层巨型星座分簇管理机制具体为：使用分层分簇管理，巨型星座各层进行分簇管理，簇内卫星数量相等；分簇内包括簇首及簇成员，簇首完成簇内成员的管理；簇首负责簇内成员路由决策的下发及信息的收集，簇成员负责执行簇首路由决策并定期上传其经验值；上下层簇首之间存在层间星间链路，部署于各簇的簇首，定期交换信息，以完成层间簇管理。4.根据权利要求1所述的面向双层巨型星座的智能负载均衡方法，其特征在于，步骤S3中，簇负载预测机制具体为：当前簇首完成其余簇负载信息收集，并使用部署于簇首的长短期记忆网络完成双层巨型星座网络各簇负载信息预测。5.根据权利要求1所述的面向双层巨型星座的智能负载均衡方法，其特征在于，步骤S4中，双层巨型星座多智能体深度强化学习负载均衡模型包括中心式网络和智能体网络；中心式网络部署于簇首，负责定期收集簇内信息及簇间负载信息，完成智能体网络的训练，并下发训练后的智能体网络至簇内各卫星；智能体网络部署于其余簇成员，星载智能体网络依据传输任务所确定的观测空间，由智能体网络进行下一跳传输动作的选取。6.根据权利要求5所述的面向双层巨型星座的智能负载均衡方法，其特征在于，中心式
网络具体为：中心式网络的输入为各智能体的奖励值r，状态空间s为簇内各负载信息及预测后的其余簇负载信息，使用经部署于簇首的长短期记忆网络完成其余簇当前负载信息的预测；中心式网络依据输入及状态空间完成前向执行后，依据全局奖励值完成网络的反向传播更新，并定期传输更新后的智能体网络至簇内成员。7.根据权利要求5所述的面向双层巨型星座的智能负载均衡方法，其特征在于，智能体网络具体为：观测空...

【专利技术属性】
技术研发人员：张超，罗树欣，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：