【技术实现步骤摘要】
本专利技术属于天地一体化信息网络虚拟化和机器学习领域，具体涉及一种基于强化学习的空地协同网络拓扑鲁棒性建模方法。
技术介绍
1、随着无人机技术、卫星通信和地面移动网络的迅猛发展，天地一体化网络(air-ground integrated networks,agin)在多种应用场景中展现出巨大的潜力，包括紧急救援、灾害监测、空中作战等，agin通过将地面通信网络与空中通信网络有效融合，实现信息的无缝传输和共享，提供更广泛的覆盖范围和更高的网络可靠性，对于提升通信服务质量和满足现代社会对高速、稳定网络连接的需求具有重要意义。
2、但现有网络技术在天、地各领域发展情况不一，且网络结构差异较大，面临无人机网络覆盖面广、移动性高，拓扑时变性强但资源受限，地面网络资源丰富但覆盖范围小、移动性差等网络僵化问题，这些特点使得agin在拓扑设计和维护中面临一系列关键问题，如网络拓扑的动态变化对通信可靠性的影响、不同层级之间的协调与优化、以及网络的鲁棒性与稳定性等。因此，构建一种有效的拓扑鲁棒性建模方法，以提高agin在复杂环境中的适应能力，是当前面临的主要挑战之一。
3、目前，对于天地一体化网络的拓扑建模主要包括基于图论的拓扑优化、仿真评估方法和传统网络优化算法，其中图论方法在处理网络拓扑时较为直观，但通常未能充分考虑动态环境的影响；仿真方法能够较好地模拟实际环境，但受到计算资源的限制，时间消耗通常较大，不适用于节点移动性较强的网络场景；传统优化算法在面对空地协同的特殊性时，常常忽略异构网络的协调与优化。因此，现有方法在适
技术实现思路
1、针对现有技术的缺点，本专利技术提供一种基于强化学习的空地协同网络拓扑鲁棒性建模方法，具体包括以下步骤：
2、s1、集中管控空中和地面的所有网络节点；
3、空中节点均为无人机，地面节点包括地面指控中心、地面通信中继，无人机可与无人机及地面通信中继间建立无线通信链路；
4、s2、通过有线链路构建完整的地面网络，假设地面网络拓扑结构已提前确定；
5、当前地面通信中继能够与其他地面通信中继及地面指控中心间建立有线通信链路，并假设地面网络拓扑结构已提前确定；
6、假设地面上各节点处于固定位置，根据各节点位置建立合适的有线通信链路，构建地面上的固定网络拓扑；
7、s3、确定空中无人机节点的通信容量和通信距离，并确定每架无人机的可通信范围内的所有地面和空中节点集合；
8、s4、应用强化学习方法，确定状态集、动作集、反馈函数这些相关参数；
9、s5、设定算法迭代次数，在空中无人机节点未发生较大位置变化的时隙内，进行算法训练，完成网络拓扑模型构建；
10、s6、当空中无人机节点发生较大位置变化时，重复执行步骤s5，重新建立更新后的网络拓扑模型；
11、重复以上过程，直到强化学习迭代次数达到上限l，并得到最终的空地协同网络拓扑模型；后续当空中无人机节点发生较大位置变化时，重复执行以上过程，重新建立更新后的网络拓扑模型。
12、在本专利技术的一个实施例的步骤s2中，在空地协同网络中，定义物理网络g＝{vg,vs,egg,egs,ess}，其中vg代表地面节点集合，表示为vg＝{vc,vr}，其中vc代表地面指控中心集合，vr代表地面通信中继集合，vs代表空中无人机节点集合；egg代表地面链路集合，表示为egg＝{ecr,err}，其中ecr代表所有地面指控中心与地面通信中继间建立的有线链路集合、err代表任意两个地面通信中继间建立的有线链路集合；egs代表所有地面通信中继与空中无人机间建立的无线通信链路集合；ess代表空中无人机与无人机间的无线通信链路；其中，vg、vs、egg均为静态集合，egs、ess为动态集合，集合元素根据与无人机相连的无线通信链路进行实时更新。
13、在本专利技术的另一个实施例的步骤s3中，假设每架无人机的相关参数均相同，通信距离表示为r，即无人机只能够与以自身为球心，以r为半径的球体内的其他节点间建立无线通信链路，由于无人机b和地面通信中继e不在无人机a的通信范围内，因此无人机a只能够与无人机c、地面通信中继d之间建立无线通信链路；通信容量表示为m，即每架无人机最多可与m个无人机及地面通信中继间建立无线通信链路。
14、在本专利技术的又一个实施例的步骤s4中，假设强化学习的训练迭代次数为l，每一次迭代训练会构建至多1条无线链路，强化学习的环境状态定义为算法开始训练后建立的无线链路总数，包括无人机与无人机间、无人机与地面通信中继间两种无线链路，因此状态集表示为s＝{0,1,2,3,...,l}，状态集大小为l+1；
15、强化学习的动作定义为选择当前无人机，与通信距离内的某一其他节点建立无线通信链路，根据当前无人机通信范围内的可通信节点数选择某一无人机，在该通信范围内选择与除该无人机之外的其他无人机或地面通信中继建立无线通信链路，假设空中每架无人机的通信范围内至少有一个无人机和地面通信中继节点，则无人机通信范围内的其他无人机与地面通信中继节点个数总和m可能的值为大于等于2的正整数，当m>m时将m均表示为m+，则m的取值范围为集合{2,3,...,m,m+}，共m个元素，同时定义标签：
16、
17、动作表示为a(t)＝(m,conn)，动作集大小为m*2；
18、反馈函数表示为：
19、
20、其中，s(t)表示强化学习在t时刻的状态；sub代表当前无人机节点直接相连所组成的子网络数，n代表总无人机节点数，sub∈[1,n]；dmax和dmin分别代表所有无人机节点的最大和最小节点度；α和β均为权重系数；
21、设定q值的更新公式为：
22、q(s(t),a(t))＝r(s(t),a(t))+γ*max{q(s(t+1),a(t+1))} (3)
23、其中，q表示在给定状态下采取某个动作所期望获得的总回报，q(s(t),a(t))表示强化学习q表中状态s(t)与动作a(t)所对应的q值，r(s(t),a(t))表示强化学习在状态s(t)时选择动作a(t)所得到的反馈值，γ为贪婪因子。
24、在本专利技术的一个具体实施例中，贪婪因子设定为0.8。
25、在本专利技术的再一个实施例的步骤s5中，应用强化学习方法对空地协同网络建立无线通信链路，具体包括以下步骤：
26、s5.1、初始化强化学习q表为全0矩阵，矩阵大小为l+1行、m*2列，其中行元素表示所有可能出现的状态，列元素表示所有可能选择的动作；
27、s5.2、设定初始状态s(0)＝0；
28、s5.3、设定当前t时刻的状态为s(t)，即为t时刻无人机与无人机之间、无人机与地面通信中继之间的总链路数，根据ε-贪婪方法选择某一动作a(t)＝(m,con本文档来自技高网...
【技术保护点】
1.一种基于强化学习的空地协同网络拓扑鲁棒性建模方法，其特征在于，具体包括以下步骤：
2.如权利要求1所述的基于强化学习的空地协同网络拓扑鲁棒性建模方法，其特征在于，步骤S2中，在空地协同网络中，定义物理网络G＝{Vg,Vs,Egg,Egs,Ess}，其中Vg代表地面节点集合，表示为Vg＝{Vc,Vr}，其中Vc代表地面指控中心集合，Vr代表地面通信中继集合，Vs代表空中无人机节点集合；Egg代表地面链路集合，表示为Egg＝{Ecr,Err}，其中Ecr代表所有地面指控中心与地面通信中继间建立的有线链路集合、Err代表任意两个地面通信中继间建立的有线链路集合；Egs代表所有地面通信中继与空中无人机间建立的无线通信链路集合；Ess代表空中无人机与无人机间的无线通信链路；其中，Vg、Vs、Egg均为静态集合，Egs、Ess为动态集合，集合元素根据与无人机相连的无线通信链路进行实时更新。
3.如权利要求1所述的基于强化学习的空地协同网络拓扑鲁棒性建模方法，其特征在于，步骤S3中，假设每架无人机的相关参数均相同，通信距离表示为R，即无人机只能够与以自身为球心，以R
4.如权利要求2所述的基于强化学习的空地协同网络拓扑鲁棒性建模方法，其特征在于，步骤S4中，假设强化学习的训练迭代次数为L，每一次迭代训练会构建至多1条无线链路，强化学习的环境状态定义为算法开始训练后建立的无线链路总数，包括无人机与无人机间、无人机与地面通信中继间两种无线链路，因此状态集表示为S＝{0,1,2,3,...,L}，状态集大小为L+1；
5.如权利要求4所述的基于强化学习的空地协同网络拓扑鲁棒性建模方法，其特征在于，贪婪因子设定为0.8。
6.如权利要求4所述的基于强化学习的空地协同网络拓扑鲁棒性建模方法，其特征在于，步骤S5中，应用强化学习方法对空地协同网络建立无线通信链路，具体包括以下步骤：
7.如权利要求4所述的基于强化学习的空地协同网络拓扑鲁棒性建模方法，其特征在于，步骤S6中，针对空中无人机节点，确定当前t时刻与无人机相连的无线链路数|Egs|+|Ess|，即t时刻的状态S(t)；在Q表中寻找状态S(t)所能产生的最大Q值对应的动作A(t)，在通信范围内符合条件的可通信节点的无人机集合中随机选择一个当前无人机节点，假设为无人机U，建立当前无人机U与一个地面通信中继间的无线通信链路，假设该地面通信中继为D；根据式(2)计算执行动作A(t)能得到的反馈值R(S(t),A(t))，根据式(3)计算在状态S(t)时执行动作A(t)后的Q值；更新Q表，同时在Egs中加入无人机U与地面通信中继D之间建立的无线链路，并转移环境状态至S(t+1)。
...【技术特征摘要】
1.一种基于强化学习的空地协同网络拓扑鲁棒性建模方法，其特征在于，具体包括以下步骤：
2.如权利要求1所述的基于强化学习的空地协同网络拓扑鲁棒性建模方法，其特征在于，步骤s2中，在空地协同网络中，定义物理网络g＝{vg,vs,egg,egs,ess}，其中vg代表地面节点集合，表示为vg＝{vc,vr}，其中vc代表地面指控中心集合，vr代表地面通信中继集合，vs代表空中无人机节点集合；egg代表地面链路集合，表示为egg＝{ecr,err}，其中ecr代表所有地面指控中心与地面通信中继间建立的有线链路集合、err代表任意两个地面通信中继间建立的有线链路集合；egs代表所有地面通信中继与空中无人机间建立的无线通信链路集合；ess代表空中无人机与无人机间的无线通信链路；其中，vg、vs、egg均为静态集合，egs、ess为动态集合，集合元素根据与无人机相连的无线通信链路进行实时更新。
3.如权利要求1所述的基于强化学习的空地协同网络拓扑鲁棒性建模方法，其特征在于，步骤s3中，假设每架无人机的相关参数均相同，通信距离表示为r，即无人机只能够与以自身为球心，以r为半径的球体内的其他节点间建立无线通信链路，由于无人机b和地面通信中继e不在无人机a的通信范围内，因此无人机a只能够与无人机c、地面通信中继d之间建立无线通信链路；通信容量表示为m，即每架无人机最多可与m个无人机及地面通信中继间建立无线通信链路。
4.如权利要求2所述的基于强...
【专利技术属性】
技术研发人员：王珂，李勇军，王翔，梁江楠，张凤磊，张凯，
申请(专利权)人：中国人民解放军空军工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。