【技术实现步骤摘要】
本专利技术属于无人机轨迹设计和无人机辅助无线通信领域，涉及一种动态环境中无人机辅助通信系统的三维轨迹设计方法。
技术介绍
1、近年来，无人机辅助通信领域取得了显著进展，带来了许多新的可能性和优势。无人机通信系统具备广泛的覆盖能力，搭载通信设备的无人机可充当飞行基站，从而将连接扩展至服务不便地区和资源匮乏地带等。此外，无人机还能在网状网络中充当中继节点，以支持应急响应行动、辅助搜索救援任务，甚至在大型活动期间促进通信。在6g通信系统中，无人机同样扮演重要角色，它们占据空中空间，构建了地面与空间网络之间的关键网络层。无人机可与地面站和卫星站进行通信，形成天空地一体化网络，为完全整合的6g异构网络奠定基础。
2、目前的研究工作中无人机所服务的对象都被设定为不可移动的，这有助于系统性能分析和资源分配优化，但在实际通信环境中，往往存在各种不可抗力因素迫使服务对象位置发生改变，或者无人机所服务的对象本身具有移动性，即环境是动态的，当环境发生改变时，之前的无人机飞行轨迹已不再适用。另一方面，二维轨迹没有充分发挥无人机的高机动性优势，即调整无人机飞行高度提高通信链路质量，飞行-悬停的飞行方式也忽略了无人机的加减速影响。此外，被服务对象仅仅只被允许在小范围限制区域内移动，这也并不适用于实际环境中的复杂情况。因此，很少有研究工作能够在用户大范围自由移动的无人机辅助通信系统中，充分发挥无人机在三维空间中高机动性，于是，本专利技术提出了一种动态环境中无人机辅助通信系统的三维轨迹设计方法。
技术实现思路p>
1、有鉴于此，本专利技术的目的在于提供一种动态环境中无人机辅助通信系统的三维轨迹设计方法，使无人机可根据地面用户位置的变化，自主调整飞行方向和速度，提高通信链路质量及系统吞吐量。
2、为达到上述目的，本专利技术提供如下技术方案：
3、一种动态环境中无人机辅助通信系统的三维轨迹设计方法，其包括以下步骤：
4、s1、将无人机在用户移动的动态环境中的探索建立为马尔可夫决策过程；
5、s2、使用先验知识的方法加快无人机在动态环境中的探索效率；
6、s3、将先验经验填充进经验回放池，然后训练并生成神经网络模型，通过向训练好的神经网络模型输入无人机状态以得到无人机的动作，从而实现无人机的三维轨迹规划。
7、进一步地，步骤s1中，无人机在某一时隙n的状态sn为：
8、
9、式中，xn、yn和zn表示无人机在时隙n的三维坐标，和表示用户在时隙n的水平坐标，vn表示无人机在时隙n的飞行速度，表示剩余时间，表示n时刻无人机距离目的地的距离；
10、无人机在某一时隙n的动作an为：
11、an＝{vn,λn,ρn}
12、式中，λn和ρn分别表示时隙n无人机在球坐标系中的极角和方位角；
13、无人机在某一时隙n的移动策略为：
14、xn＝xn-1+vn-1sin(λn-1)cos(ρn-1)δn-1
15、yn＝yn-1+vn-1sin(λn-1)cos(ρn-1)δn-1
16、zn＝zn-1+vn-1cos(λn-1)δn-1
17、式中，δn-1表示时隙n-1的持续时间；
18、无人机在某一时隙n的奖励rn为：
19、rn＝rn,1+rn,2+rn,3+rn,4+rn,5
20、式中，rn,1＝cthrnδn，rn表示时隙n无人机与所有用户之间的总传输速率，cth为一个正的常数；
21、rn,2表示为：
22、
23、式中，n表示时隙数量，t表示无人机最大飞行时间，表示二元到达指标；car表示超时时间的惩罚系数，cnr表示未到达目的地的额外惩罚项，表示时隙n无人机与目的地的距离，vmax表示无人机的最大飞行速度；
24、rn,3表示为：式中，表示无人机的时间不足值，表示无人机当前时隙位置到达目的地的距离相较于上一时隙的减小值，cnear为放缩系数；
25、rn,4和rn,5分别表示为：
26、
27、
28、式中，表示二元加速度约束指标，表示水平面约束，表示二元高度约束，cac和ch分别表示违反加速度约束和飞行高度约束的正惩罚常数；
29、进一步地，步骤s1中，用户的位置更新表示为：
30、
31、
32、式中，和分别表示用户k在时隙n-1的速度和方向。
33、进一步地，步骤s1中，无人机与所有用户在时隙n的总传输速率rn表示为：
34、
35、
36、式中，k表示用户数，表示无人机和用户k在时隙n的传输速率，b表示无人机的总带宽，pk表示用户k的发射功率，n0表示噪声信道的功率谱密度；
37、式中，表示为：
38、
39、其中，表示时隙n无人机与第k个用户之间的路径损耗。
40、进一步地，步骤s2中，基于先验知识的动作表示为：
41、
42、式中，random(0,1)为[0,1]区间内的随机数，vmax表示无人机的最大飞行速度，λpk和ρpk分别表示指向目的地的极角和方位角；无人机该动作后会向目的地靠近，无人机选择动作的方式如下式所示：
43、
44、式中，rex表示经验回放池的经验条数量，strand表示由先验知识方法生成的经验条数量，πφ(·)表示带有参数φ的策略网络，ε表示高斯噪声，μ表示动作的边界值。
45、进一步地，步骤s3中，神经网络模型的训练方式包括：
46、s31、随机初始化critic网络中的两个q网络；随机初始化actor网络；将critic网络和actor网络的网络参数复制给对应的目标网络；初始化经验回放池；训练轮数置为0；
47、s32、设置当前时隙n＝0，设置无人机位于起点qs且初始速度为0，随机生成用户的位置，初始化用户的平均速度和平均方向，无人机从环境中获得初始状态s0；
48、s33、基于下式选择执行动作：
49、
50、s34、如果无人机超出三维空间限制，则无人机位置保持不变；如果无人机超出加速度限制，则令下一时刻无人机速度vn+1＝vn+clip(||ac||,-amax,amax)，其中，ac表示无人机的加速度，amax表示无人机的最大加速度；
51、s35、计算奖励rn＝rn,1+rn,2+rn,3+rn,4+rn,5；观察环境并获得下一状态s′n；将经验条{sn,an,rn,s′n}存入经验回放池中；
52、s36、如果经验回放池中的经验条数量rex大于由先验知识方法生成的经验条数量strand，则从经验回放池中采样小批量的经验条并做以下处理：
53、①通过最小化损失函数来更新critic网络；<本文档来自技高网...
【技术保护点】
1.一种动态环境中无人机辅助通信系统的三维轨迹设计方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的三维轨迹设计方法，其特征在于：步骤S1中，用户的位置更新表示为：
3.根据权利要求1所述的三维轨迹设计方法，其特征在于：步骤S1中，无人机与所有用户在时隙n的总传输速率Rn表示为：
4.根据权利要求1所述的三维轨迹设计方法，其特征在于：步骤S2中，基于先验知识的动作表示为：
5.根据权利要求1～4中任一项所述的三维轨迹设计方法，其特征在于：步骤S3中，所述神经网络模型的训练方式包括：
【技术特征摘要】
1.一种动态环境中无人机辅助通信系统的三维轨迹设计方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的三维轨迹设计方法，其特征在于：步骤s1中，用户的位置更新表示为：
3.根据权利要求1所述的三维轨迹设计方法，其特征在于：步骤s1中，无人...
【专利技术属性】
技术研发人员：李敏，王洪，周华建，代成平，郑行，郑煜烨，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。