一种基于多任务迁移强化学习的轻量级测控链路切换方法技术

本发明专利技术提供一种基于多任务迁移强化学习的轻量级测控链路切换方法，涉及测控通信领域，解决了现有方法样本效率低、学习速度慢、适应能力差等局限性问题；方法包括：在地面站处构建训练环境，基于构建的训练环境，进一步构建不同的训练任务；使用不同的训练任务，共同训练基于迁移强化学习算法的星载测控终端智能决策算法，获取智能决策算法的公共知识；将公共知识上注迁移至星载测控终端；当空天地一体化测控环境发生改变时，通过星载测控终端的计算资源进行决策调优操作，以轻量级形式切换链路至最优的测控网络节点；本发明专利技术可以利用先前任务中学到的知识来提高在新任务上的性能，使链路切换过程在复杂和多样化的现实应用中更具可行性。

【技术实现步骤摘要】

本专利技术涉及测控通信领域，应用于测控链路切换过程中，具体涉及一种基于多任务迁移强化学习的轻量级测控链路切换方法。

技术介绍

1、随着信息通信和航天技术的飞速发展，空间网络相关技术日趋成熟，信息服务的空间范畴不断扩大，各种天基、空基、海基和地基网络服务不断涌现，对多维综合信息资源的需求也逐步提升。空天地一体化网络可以为陆、海、空、天用户提供无缝信息服务，满足未来网络对全时全域全空通信和网络互联互通的需求。

2、空天地一体化网络可以为用户提供广覆盖、高可靠、低延迟的通信服务，由于卫星、舰船等网络终端设备在不停地进行移动，导致测控终端与测控站的网络拓扑会不断变化。当测控终端与当前测控网络节点的链路不能满足测控通信要求时，测控终端需要及时进行测控网络节点的切换。由于传统的测控终端只依据测控网络节点的信号强度进行切换，这种单一参数的切换策略会导致测控通信网络的负载不均衡问题。通过采用深度强化学习(deep reinforcement learning,drl)方法，将负载均衡因素纳入到奖励函数中，使其成为链路切换决策的一个因素，以改善负载不均衡的问题。本文档来自技高网...

【技术保护点】

1.一种基于多任务迁移强化学习的轻量级测控链路切换方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的基于多任务迁移强化学习的轻量级测控链路切换方法，其特征在于：步骤S1中，通过数字孪生深度强化学习框架，实现地面站处训练环境的构建；数字孪生深度强化学习框架包括物理实体数据、数字模型和深度强化学习模型；物理实体数据为由空天地测控网络组成的物理实体所产生的真实数据；在记录物理实体数据时，为空天地测控网络中的每个星载测控终端都配置频谱感知功能。

3.根据权利要求2所述的基于多任务迁移强化学习的轻量级测控链路切换方法，其特征在于：地面站处服务器通过仿真建模方...

【技术特征摘要】

1.一种基于多任务迁移强化学习的轻量级测控链路切换方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的基于多任务迁移强化学习的轻量级测控链路切换方法，其特征在于：步骤s1中，通过数字孪生深度强化学习框架，实现地面站处训练环境的构建；数字孪生深度强化学习框架包括物理实体数据、数字模型和深度强化学习模型；物理实体数据为由空天地测控网络组成的物理实体所产生的真实数据；在记录物理实体数据时，为空天地测控网络中的每个星载测控终端都配置频谱感知功能。

3.根据权利要求2所述的基于多任务迁移强化学习的轻量级测控链路切换方法，其特征在于：地面站处服务器通过仿真建模方式，建立星载测控终端的数字模型；地面站处服务器接收来自空天地测控网络的数据，对建立的数字模型进行持续修正；

4.根据权利要求3所述的基于多任务迁移强化学习的轻量级测控链路切换方法，其特征在于：数字孪生深度强化学习框架还包括连接模块；连接模块将星载测控终端的数字模型与真实的物理实体数据进行连接，从而为实际星载测控终端的决策持续提供真实数据；物理实体数据经空天地测控网络传输至地面站处服务器，并参与星载测控终端的数字模型构建过程。

5.根据权利要求1所述的基于多任务迁移强化学习的轻量级测控链路切换方法，其特征在于：步骤s2中，将包括多个不同训练任务的训练任务集合记为其中is代表训练任务总数；在每个训练任务中均进行噪声扰动处理。

6.根据权利要求5所述的...

【专利技术属性】
技术研发人员：梁荟萃，马松，刘田，李婷，衣孟杰，郑晓瑜，张琰，商科峰，
申请(专利权)人：中国电子科技集团公司第十研究所，
类型：发明
国别省市：