无人机基站控制方法、飞行轨迹优化模型构建、训练方法技术

本申请涉及通信技术领域，尤其是涉及一种无人机基站控制方法、飞行轨迹优化模型构建、训练方法。其中，无人机基站控制方法包括：确定若干待通信设备的位置信息和无人机基站当前时隙的状态信息，所述状态信息包括位置信息、速度信息、加速度信息、航向角信息、俯仰角信息、通信完成量信息；利用预先训练好的飞行轨迹优化模型，根据所述状态信息，确定下一时隙的调整动作；所述调整动作包括飞行动作调整量、进行通信的设备的数量m、通信功率调整量中的至少一个；以使所述无人机基站根据所述调整动作对相应的参数进行调整，并在下一时隙到达新的轨迹点时通信速率大于或等于预设值。新的轨迹点时通信速率大于或等于预设值。新的轨迹点时通信速率大于或等于预设值。

UAV base station control method, flight trajectory optimization model construction, training method

【技术实现步骤摘要】
无人机基站控制方法、飞行轨迹优化模型构建、训练方法


[0001]本申请涉及通信
，尤其是涉及一种无人机基站控制方法、飞行轨迹优化模型构建、训练方法。

技术介绍

[0002]目前，无人机基站已成为人们关注和研究的重点之一。它具有成本低廉、移动性强、灵活性高、易于布置以及拥有大概率的视距通信等优点，而这些优点恰恰也是传统基站所不具备的。所以无人机基站在未来5G通信系统中将被广泛应用起来，作为传统基站的补充，实现增强无线蜂窝网络的5G覆盖范围和容量、满足动态变化的移动网络流量需求、实现应急通信、采集物联网设备信息等丰富的功能。
[0003]无人机基站一般使用电池供电。但是，无人机基站所使用的电池的续航技术一直没有突破性的进展。而无人机基站也不可能无限增加电池数量，因为随着电池数量增加，无人机基站的载重和能量消耗也将随之增加。这就对无人机基站的单机单次服务时长造成限制，导致无人机基站的服务效率较低。

技术实现思路

[0004]本申请提供一种无人机基站控制方法、飞行轨迹优化模型构建、训练方法。对无人机基站的飞行轨迹、用户调度、资源分配策略进行调整和控制，以使得无人机基站在有限的服务时长内服务效率最大化。
[0005]第一方面，本申请提供一种无人机基站控制方法，包括：确定若干待通信设备的位置信息和无人机基站当前时隙的状态信息，所述状态信息包括位置信息、速度信息、加速度信息、航向角信息、俯仰角信息、通信完成量信息；利用预先训练好的飞行轨迹优化模型，根据所述状态信息，确定下一时隙的调整动作；所述调整动作包括飞行动作调整量、进行通信的设备的数量m、通信功率调整量中的至少一个；以使所述无人机基站根据所述调整动作对相应的参数进行调整，并在下一时隙到达新的轨迹点时通信速率大于或等于预设值。
[0006]可选的，所述飞行轨迹优化模型的构建过程包括：将无人机基站的通信速率最大化，作为优化目标；构建两个相同结构的深度Q网络，分别作为所述轨迹优化模型中的评估网络和目标网络；基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数；基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数；基于所述优化目标，确定所述轨迹优化模型的奖励函数。
[0007]可选的，所述基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数，包括：基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数如下：
其中，t代表第t时隙；(x
D
[t],y
D
[t],z
D
[t])代表无人机在第t时隙的坐标；v[t]代表无人机在第t时隙的速度；a[t]代表无人机在第t时隙的加速度；φ[t]代表无人机在第t时隙的航向角；代表无人机在第t时隙的俯仰角；η
i
代表第i用户的已完成的通信量。
[0008]可选的，所述基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数，包括：基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数如下：下：下：下：N
c
∈{i,i＝0,...,N
‑
1}；其中，{Δφ[t]}代表控制无人机的航向角的动作向量；代表控制无人机俯仰角的动作向量；{Δa
D
[t]}代表无人机的加速度动作向量；N
c
代表无人机选择通信的用户数；Δp[t]代表无人机的通信发送功率；N
φ
代表无人机的航向角的等份分割参数；代表无人机的俯仰角的等份分割参数；N
a
代表无人机的加速度的等份分割参数；N
p
代表无人机的功率的等份分割参数。
[0009]可选的，所述基于所述优化目标，确定所述轨迹优化模型的奖励函数，包括：基于所述优化目标，确定所述轨迹优化模型的奖励函数如下：其中，r
i
[t]代表第t时隙无人机与待通信设备i之间的通信速率，λ1*r
i
[t]代表第t时隙无人机与待通信设备i进行通信的速率所决定的奖励；代表第t时隙无人机与待通信设备i之间的通信的链路状态为非视距链路的概率，代表第t时隙无人机与待通信设备i进行通信的链路状态所决定的奖励；η
i
代表截止到第t时隙第i用户已完成的通信量，代表待通信设备i的通信量所决定的奖励。
[0010]可选的，所述飞行轨迹优化模型的训练过程包括：初始化所述评估网络和所述目标网络；初始化经验回放池大小m
max
；在所述经验回放池中生成若干组样本；循环执行如下训练过程，直至损失函数收敛：
随机从所述经验回放池中抽取K组样本；利用所述K组样本，分别计算所述评估网络的Q值和所述目标网络的Q值；根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数；根据所述损失函数，更新所述评估网络的参数所述目标网络的参数。
[0011]可选的，所述根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数，包括：利用如下公式计算损失函数：
[0012]可选的，所述在所述经验回放池中生成若干组样本，包括：初始化所述无人机基站的状态信息，随机生成待通信设备的地理位置，初始化时间t＝0；在达到最大时间t
max
之前，循环执行如下步骤生成样本：确定所述无人机基站的状态信息s
t
；按照贪心策略选择调整动作a
t
；根据所述调整动作a
t
，确定所述无人机基站的新位置、对应的新的状态信息s
t+1
和对应的通信速率r
i
[t]；根据所述奖励函数，计算对应的奖励值r
t
；将s
t
、a
t
、reward
t
、s
t+1
生成一组新样本[s
t
,a
t
,r
t
,s
t+1
]，放入经验回放池。
[0013]可选的，所述在所述经验回放池中生成若干组样本，包括：若经验回放池中的样本量达到最大值m
max
，则根据样本生成的时间顺序，利用最新生成的样本替换经验回放池中的最早生成的样本。
[0014]第二方面，本申请提供一种飞行轨迹优化模型构建方法，包括：将无人机基站的通信速率最大化，作为优化目标；构建两个相同结构的深度Q网络，分别作为所述轨迹优化模型中的评估网络和目标网络；基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数；基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数；基于所述优化目标，确定所述轨迹优化模型的奖励函数。
[0015]可选的，所述基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数，包括：基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数如下：其中，t代表第t时隙；(x
D
[t],y
D...

【技术保护点】

【技术特征摘要】
1.一种无人机基站控制方法，其特征在于，包括：确定若干待通信设备的位置信息和无人机基站当前时隙的状态信息，所述状态信息包括位置信息、速度信息、加速度信息、航向角信息、俯仰角信息、通信完成量信息；利用预先训练好的飞行轨迹优化模型，根据所述状态信息，确定下一时隙的调整动作；所述调整动作包括飞行动作调整量、进行通信的设备的数量m、通信功率调整量中的至少一个；以使所述无人机基站根据所述调整动作对相应的参数进行调整，并在下一时隙到达新的轨迹点时通信速率大于或等于预设值。2.根据权利要求1所述的方法，其特征在于，所述飞行轨迹优化模型的构建过程包括：将无人机基站的通信速率最大化，作为优化目标；构建两个相同结构的深度Q网络，分别作为所述轨迹优化模型中的评估网络和目标网络；基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数；基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数；基于所述优化目标，确定所述轨迹优化模型的奖励函数。3.根据权利要求2所述的方法，其特征在于，所述飞行轨迹优化模型的训练过程包括：初始化所述评估网络和所述目标网络；初始化经验回放池大小m
max
；在所述经验回放池中生成若干组样本；循环执行如下训练过程，直至损失函数收敛：随机从所述经验回放池中抽取K组样本；利用所述K组样本，分别计算所述评估网络的Q值和所述目标网络的Q值；根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数；根据所述损失函数，更新所述评估网络的参数所述目标网络的参数。4.根据权利要求3所述的方法，其特征在于，所述在所述经验回放池中生成若干组样本，包括：初始化所述无人机基站的状态信息，随机生成待通信设备的地理位置，初始化时间t＝0；在达到最大时间t
max
之前，循环执行如下步骤生成样本：确定所述无人机基站的状态信息s
t
；按照贪心策略选择调整动作a
t
；根据所述调整动作a
t
，确定所述无人机基站的新位置、对应的新的状态信息s
t+1
和对应的通信速率r
i
[t]；根据所述奖励函数，计算对应的奖励值r
t
；将s
t
、a
t
、reward
t
、s
t...

【专利技术属性】
技术研发人员：徐齐钱，陈海军，何春龙，
申请(专利权)人：浙江以正通信技术有限公司，
类型：发明
国别省市：