【技术实现步骤摘要】
本专利技术属于无人机领域，公开了一种面向应急场景的无人机辅助中继方法。
技术介绍
1、在灾害发生场景，固定通信基础设施往往易被摧毁，导致无法提供服务。因此，存在地面移动边缘计算服务器无法为服务区域内的用户提供通信覆盖的情况，无人机辅助中继已成为一种有前途的解决方案，无人机可以当作中继，辅助终端设备将数据或计算任务传输到地面基站，从而解决地面基站无法对应急区域内的救援车辆提供通信覆盖的情况。考虑到系统的复杂性和高动态，系统的性能高度依赖于无人机的位置，如何对无人机的轨迹进行精准的规划，尽可能满足终端用户的任务卸载需求成为一个难题。
2、深度强化学习将深度学习中的神经网络模型与强化学习技术结合，用于无人机轨迹的优化。然而，在传统的集中式模型训练过程中，智能体需要将本地用户的隐私数据(如负载情况、计算能力、信道状态信息等)上传到中央服务器，这可能导致用户的隐私受到威胁。此外，集中式学习不适用于用户数量不确定的场景，因为集中式学习所获得的网络模型仅适用于特定的用户数量，当系统中用户数量增加或减少时，均需要重新进行训练。另外，在灾害发生的场景下，中央服务器可能不存在或者被损毁，这也会使得集中式学习不适用。
技术实现思路
1、专利技术目的：提供一种面向应急场景的无人机辅助中继方法，以解决现有技术存在的上述问题。
2、技术方案：一种面向应急场景的无人机辅助中继方法，包括如下步骤：
3、s1、建立无人机辅助的中继网络，构建无人机作为中继辅助应急终端的系统模型；所
4、s2、基于系统模型，构建系统总成本函数，以最小化系统总成本为系统模型的目标函数，基于目标函数建立优化问题；
5、s3、基于优化问题，采用分布式资源分配方法，构建深度强化学习模型；
6、s4、采用femaddpg算法，对深度强化学习模型进行训练，重复该过程，直到收敛，执行训练好的深度强化学习模型，得到最终的无人机运动轨迹。
7、根据本申请的一个方面，步骤s1具体为：
8、s11、建立无人机辅助的中继网络，采集无人机的数据，构建无人机的运动模型；
9、s12、应急终端通过中继网络与基站进行通信，采集通信的数据，构建无人机作为中继的通信模型；
10、s13、基于通信模型，构建无人机作为中继的无人机的能耗模型；
11、s14、基于运动模型、通信模型和能耗模型，形成无人机作为中继辅助应急终端的系统模型。
12、根据本申请的一个方面，步骤s2具体为：
13、s21、基于系统模型，计算基站接收的数据信息年龄和无人机的总能耗，构建系统总成本函数；
14、s22、将最小化系统总成本作为系统模型的目标函数，基于目标函数构建系统模型的约束条件；
15、s23、基于目标函数和约束条件，形成优化问题。
16、根据本申请的一个方面，步骤s3具体为：
17、s31、基于优化问题，计算无人机的状态信息，定义为无人机作为中继辅助应急终端的状态；其中状态信息包括无人机和应急终端的相对位置、应急终端的任务量和应急终端的数据信息年龄；
18、s32、基于优化问题，获取无人机的位移坐标，定义为无人机作为中继辅助应急终端的动作；
19、s33、基于优化问题，构建奖励函数，基于奖励函数计算累积折扣奖励，定义为无人机作为中继辅助应急终端的奖励；
20、s34、基于无人机作为中继辅助应急终端的状态、动作和奖励，采用分布式资源分配方法，构建深度强化学习模型。
21、根据本申请的一个方面，步骤s4具体为：
22、s41、在每个无人机中构建神经网络，通过中央服务器将初始参数下发到神经网络；其中神经网络包括动作网络和评价网络；
23、s42、获取应急场景的当前状态，基于动作网络，形成动作，在当前状态下执行动作，获得奖励和下一步状态；
24、s43、基于当前状态、动作、奖励和下一步状态，形成四元组，构建记忆回放池；
25、s44、随机从记忆回放池中抽取四元组，基于抽取的四元组和评价网络，计算估计目标值，基于估计目标值，构建损失函数，最小化损失函数，更新评价网络的参数；基于估计目标值，采用策略梯度法，更新动作网络的参数；
26、s45、将每个无人机中更新后的评价网络的参数和动作网络的参数发送至中央服务器，采用联邦学习法，形成全局参数，将全局参数下发到每个无人机的神经网络中，重复步骤s42到步骤s45，并记录回合数，直到达到预设的总回合阈值，得到训练好的深度强化学习模型；
27、s46、执行训练好的深度强化学习模型，得到最终的无人机运动轨迹。
28、根据本申请的一个方面，步骤s1具体为：
29、设定m架无人机工作在同一平面，高度为h，无人机m在时隙n的位置表示为：
30、wm,n＝[xm,n,ym,n]
31、其中m＝{1,2，…，m，…m}表示无人机，无人机的工作时间划分为n个时隙，n＝{1,2，…，n，…n}表示时隙，每个时隙的长度为t0，
32、无人机m在一个时隙内的移动约束为：
33、
34、其中vmax表示无人机的最大速度；
35、无人机m的位置约束为：
36、
37、其中dmin表示无人机之间最小的安全距离；
38、在时隙n无人机m与应急终端k的连接情况为：
39、
40、其中k＝{1,2，…，k，…k}表示应急终端，无人机的覆盖范围约束为：
41、
42、其中，dmax表示无人机执行收集任务的覆盖范围，d k，m[n]表示在时隙n应急终端k和无人机m的距离，表示为：
43、
44、其中ck，n＝[xk，n,yk，n]表示应急终端k在时隙n的位置；
45、应急终端在一个时隙仅向一架无人机卸载任务，应急终端选择距离自己最近的无人机卸载任务，用公式表示为：
46、
47、
48、其中sign(x)是符号函数，当x大于0时其值为1，否则为0；
49、在时隙n应急终端k向无人机m的传输速率为：
50、
51、其中bm为分配给无人机m的带宽，pk为应急终端k的发射功率，σ2为加性高斯白噪声的功率，gm，k[n]表示时隙n应急终端k和无人机m的信道功率增益；
52、在时隙n应急终端k将任务传输到无人机m的传输时延为：
53、
54、其中ck[n]为应急终端k在时隙n需要上传的数据大小；
55、在时隙n无人机m向地面基站的传输速率为：
56、
57、其中bm，0为分配给无人机m到基站的传输带宽，pm为无人机m的发射功率，σ2为本文档来自技高网...
【技术保护点】
1.一种面向应急场景的无人机辅助中继方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的面向应急场景的无人机辅助中继方法，其特征在于，步骤S1具体为：
3.根据权利要求2所述的面向应急场景的无人机辅助中继方法，其特征在于，步骤S2具体为：
4.根据权利要求3所述的面向应急场景的无人机辅助中继方法，其特征在于，步骤S3具体为：
5.根据权利要求4所述的面向应急场景的无人机辅助中继方法，其特征在于，步骤S4具体为：
6.根据权利要求5所述的面向应急场景的无人机辅助中继方法，其特征在于，步骤S1具体为：
7.根据权利要求5所述的面向应急场景的无人机辅助中继方法，其特征在于，步骤S2具体为：
8.根据权利要求5所述的面向应急场景的无人机辅助中继方法，其特征在于，步骤S3具体为：
9.根据权利要求5所述的面向应急场景的无人机辅助中继方法，其特征在于，还包括：
10.根据权利要求9所述的面向应急场景的无人机辅助中继方法，其特征在于，步骤S5具体为：
【技术特征摘要】
1.一种面向应急场景的无人机辅助中继方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的面向应急场景的无人机辅助中继方法，其特征在于，步骤s1具体为：
3.根据权利要求2所述的面向应急场景的无人机辅助中继方法，其特征在于，步骤s2具体为：
4.根据权利要求3所述的面向应急场景的无人机辅助中继方法，其特征在于，步骤s3具体为：
5.根据权利要求4所述的面向应急场景的无人机辅助中继方法，其特征在于，步骤s4具体为：
...
【专利技术属性】
技术研发人员：刘涛，王卫星，方之龙，钟焱军，
申请(专利权)人：浙江省消防救援总队，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。