本发明专利技术公开了一种有限信息交互下多智体无人机辅助无线通信方法及装置，该方法包括：设置无人机的飞行约束条件；设置无人机之间的连接约束条件；基于部分可观测马尔可夫决策过程，构建第一奖励函数；基于时延容忍的多智能体深度强化学习算法，根据所述第一奖励函数，构建第二奖励函数；对地面用户传输能量，并接收地面用户传输的数据，得到缓存数据；根据所述连接约束条件、所述飞行约束条件以及所述第二奖励函数，将所述缓存数据传输到基站。本发明专利技术能提升无人机能效并降低通信延迟，并广泛应用于无线通信网络技术领域。
【技术实现步骤摘要】
本专利技术涉及无线通信网络，尤其是一种有限信息交互下多智体无人机辅助无线通信方法及装置。
技术介绍
1、低功耗或无源节点由于其成本低廉和长寿命的特点，被广泛应用于构建无线传感器网络，以实现监测、数据采集和远程控制功能。由于移动灵活、适应性强的优点，无人机(unmanned aerial vehicle，uav)已广泛部署于无线通信网络中，辅助感知节点传输数据，扩大了并增加了感知节点的数据传输范围和无线网络的服务容量。但目前低功耗节点受限于通信功率，无法直接将感知数据传递给远处的基站(base station，bs)，多uav可移动至偏远的gu处收集数据，通过直接或uav中继的方法将数据传输给bs。多uav协同完成任务通常需要实时交互信息以达成合作策略，但在实际情况中，多uav的信息交互往往是有限的，在有限信息交互环境下的多uav难以达成有效的合作，存在通信延迟。
技术实现思路
1、有鉴于此，本专利技术实施例提供一种有限信息交互下多智体无人机辅助无线通信方法及装置，以提升无人机能效并降低通信延迟。
2、为实现上述目的，本专利技术实施例的一方面提供了一种有限信息交互下多智体无人机辅助无线通信方法，所述方法包括：
3、设置无人机的飞行约束条件；
4、设置无人机之间的连接约束条件；
5、基于部分可观测马尔可夫决策过程，构建第一奖励函数；
6、基于时延容忍的多智能体深度强化学习算法，根据所述第一奖励函数，构建第二奖励函数；
<
p>7、对地面用户传输能量，并接收地面用户传输的数据，得到缓存数据；8、根据所述连接约束条件、所述飞行约束条件以及所述第二奖励函数，将所述缓存数据传输到基站。
9、在一些实施例中，所述设置无人机之间的连接约束条件之前，还包括：
10、将无人机调度的时隙划分为若干个阶段；
11、其中，所述阶段包括无人机飞行子时隙、能量传输子时隙、数据采集子时隙以及数据传输子时隙。
12、在一些实施例中，所述无人机之间的连接约束条件的表达式为：
13、||ln(t+1)-ln(t)||≤tfvmax
14、||ln(t)-ln′(t)||≥dmin
15、式中，
16、
17、ln(t)＝(xn(t)，yn(t)，h)
18、ln＝{ln(t)，…ln(t)}
19、其中，ln代表无人机在各个时隙的定位点的集合，表征了无人机的轨迹；ln(t)、ln(t+1)、ln(t)、ln′(t)代表无人机在对应时隙的定位点；tf代表无人机飞行子时隙；vmax代表无人机最大飞行速度；dmin代表无人机之间的最小安全距离；代表无人机的集合；n、n′代表对应的无人机；xn(t)代表第n架无人机在t时刻的笛卡尔坐标系下x轴的位置；yn(t)代表第n架无人机在t时刻的笛卡尔坐标系下y轴的位置；h代表无人机的飞行高度。
20、在一些实施例中，所述无人机的飞行约束条件的表达式为：
21、
22、其中，φn，n′(t)代表无人机之间的连接关系；t代表时隙；代表时隙的集合。
23、在一些实施例中，所述第一奖励函数的表达式为：
24、
25、其中，rn(t)代表第一奖励函数；μ1、μ2代表加权参数；ηn(t)代表在t时刻无人机的能效；rp，n(t)代表约束惩罚函数。
26、在一些实施例中，所述基于时延容忍的多智能体深度强化学习算法，根据所述第一奖励函数，构建第二奖励函数，包括：
27、构造获取传输缓存数据的信息时延函数；
28、基于时延容忍的多智能体深度强化学习算法，根据所述信息时延函数以及所述第一奖励函数，构建第二奖励函数；
29、其中，所述第二奖励函数的表达式为：
30、
31、式中，代表第二奖励函数；μ1、μ2、μ3代表加权参数；ηn(t)代表在t时刻无人机的能效；rp，n(t)代表约束惩罚函数；代表信息时延函数。
32、为实现上述目的，本专利技术实施例的另一方面提出了一种有限信息交互下多智体无人机辅助无线通信装置，所述装置包括：
33、第一模块，用于设置无人机的飞行约束条件；
34、第二模块，用于设置无人机之间的连接约束条件；
35、第三模块，用于基于部分可观测马尔可夫决策过程，构建第一奖励函数；
36、第四模块，用于基于时延容忍的多智能体深度强化学习算法，根据所述第一奖励函数，构建第二奖励函数；
37、第五模块，用于对地面用户传输能量，并接收地面用户传输的数据，得到缓存数据；
38、第六模块，用于根据所述连接约束条件、所述飞行约束条件以及所述第二奖励函数，将所述缓存数据传输到基站。
39、为实现上述目的，本专利技术实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前述的有限信息交互下多智体无人机辅助无线通信方法。
40、为实现上述目的，本专利技术实施例还提供了一种计算机可读存储介质，存储介质存储有程序，所述程序被处理器执行实现前述的有限信息交互下多智体无人机辅助无线通信方法。
41、为实现上述目的，本专利技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述的有限信息交互下多智体无人机辅助无线通信方法。
42、本专利技术的实施例至少包括以下有益效果：本专利技术提供一种有限信息交互下多智体无人机辅助无线通信方法及装置，该方案设置无人机的飞行约束条件；设置无人机之间的连接约束条件；基于部分可观测马尔可夫决策过程，构建第一奖励函数；基于时延容忍的多智能体深度强化学习算法，根据所述第一奖励函数，构建第二奖励函数；对地面用户传输能量，并接收地面用户传输的数据，得到缓存数据；根据所述连接约束条件、所述飞行约束条件以及所述第二奖励函数，将所述缓存数据传输到基站。本专利技术实施例通过第二奖励函数中添加的延迟惩罚在求解能量效率优化问题的同时，为最小化时间延迟引入了额外的约束，从而提升无人机能效并降低通信延迟。
本文档来自技高网...
【技术保护点】
1.一种有限信息交互下多智体无人机辅助无线通信方法，其特征在于，包括：
2.根据权利要求1所述的一种有限信息交互下多智体无人机辅助无线通信方法，其特征在于，所述设置无人机之间的连接约束条件之前，还包括：
3.根据权利要求1所述的一种有限信息交互下多智体无人机辅助无线通信方法，其特征在于，所述无人机之间的飞行约束条件的表达式为：
4.根据权利要求1所述的一种有限信息交互下多智体无人机辅助无线通信方法，其特征在于，所述无人机的连接约束条件的表达式为：
5.根据权利要求1所述的一种有限信息交互下多智体无人机辅助无线通信方法，其特征在于，所述第一奖励函数的表达式为：
6.根据权利要求1所述的一种有限信息交互下多智体无人机辅助无线通信方法，其特征在于，所述基于时延容忍的多智能体深度强化学习算法，根据所述第一奖励函数，构建第二奖励函数，包括：
7.一种有限信息交互下多智体无人机辅助无线通信装置，其特征在于，包括：
8.一种电子设备，其特征在于，包括处理器以及存储器；
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至6中任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
...
【技术特征摘要】
1.一种有限信息交互下多智体无人机辅助无线通信方法，其特征在于，包括：
2.根据权利要求1所述的一种有限信息交互下多智体无人机辅助无线通信方法，其特征在于，所述设置无人机之间的连接约束条件之前，还包括：
3.根据权利要求1所述的一种有限信息交互下多智体无人机辅助无线通信方法，其特征在于，所述无人机之间的飞行约束条件的表达式为：
4.根据权利要求1所述的一种有限信息交互下多智体无人机辅助无线通信方法，其特征在于，所述无人机的连接约束条件的表达式为：
5.根据权利要求1所述的一种有限信息交互下多智体无人机辅助无线通信方法，其特征在于，所述第一奖励函数的表达式为：...
【专利技术属性】
技术研发人员：龚世民，范泽松，袁洁婷，李兰花，谭光，
申请(专利权)人：中山大学·深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。