一种无人机基站在线轨迹优化方法技术

本发明专利技术公开了一种无人机基站在线轨迹优化方法，通过建立无人机基站通信模型；确定无人机在轨迹策略μ下的平均通信时延函数；利用强化学习算法确定使平均通信时延函数最小的最优轨迹策略，完成无人机基站在线轨迹优化。该方法对通信的模型没有要求，也不需要对环境完全已知，通过提出一个优化问题来最小化无人机基站和用户之间的平均通信时延，并将该优化问题转换成马尔可夫决策过程进行求解。基于强化学习对无人机轨迹进行训练，每一次轨迹训练都能够得到一个回报，根据多次训练得到的回报来更新动作值函数，在训练完毕后，无人机可以根据动作值函数对用户的通信请求做出决策，从而最小化无人机与用户之间的平均通信时延。

An on-line trajectory optimization method for UAV base station

【技术实现步骤摘要】
一种无人机基站在线轨迹优化方法
本专利技术涉及无人机通信
，尤其涉及一种无人机基站在线轨迹优化方法。
技术介绍
在过去的十年中，无人机在无线通信领域引起了广泛的关注。由于无人机灵活性高，移动性高，成本低等特点，使得无人机在很多领域充分发挥了无人机独特的优势。目前使用的基站都是固定静止的，不能满足不断增加的用户设备和高数据速率的需求。为了解决上述问题，无人机与蜂窝网络融合，即无人机基站应运而生。在基础设施覆盖不足的情况下，把无人机作为空中通信基站，为用户设备提供无线通信服务。目前无人机轨迹优化采用的方法属于离线优化。例如在文章JointTrajectoryandCommunicationDesignforMulti-UAVEnabledWirelessNetworks中，采用了块坐标下降法和连续凸逼近算法优化无人机的轨迹和发射功率，这些算法是在对通信环境的完美假设基础上进行的。离线优化方法，首先需要制定一个易于分析的、可优化的通信系统模型，包括信道模型以及传播环境模型。其次，离线优化还需要对用户的通信请求进行估计和建模，需要完美的建本文档来自技高网...

【技术保护点】
1.一种无人机基站在线轨迹优化方法，其特征在于，包括：/nS1.建立无人机基站通信模型；/nS2.确定无人机在轨迹策略μ下的平均通信时延函数；/nS3.利用强化学习算法确定使所述平均通信时延函数最小的最优轨迹策略，完成无人机基站在线轨迹优化。/n

【技术特征摘要】
1.一种无人机基站在线轨迹优化方法，其特征在于，包括：
S1.建立无人机基站通信模型；
S2.确定无人机在轨迹策略μ下的平均通信时延函数；
S3.利用强化学习算法确定使所述平均通信时延函数最小的最优轨迹策略，完成无人机基站在线轨迹优化。


2.根据权利要求1所述的无人机基站在线轨迹优化方法，其特征在于，步骤S1所述的无人机基站通信模型具体为：包括一个无人机和两个地面节点UE1和UE2，设定地面节点UE1的位置坐标为x1＝-a，地面节点UE2的位置坐标为x2＝a，无人机飞行高度H不变，无人机沿两个地面节点连接的线段移动，t时刻时无人机在x轴的位置为q(t)，q(t)∈[-a，a]，无人机的飞行速度为|q′(t)|∈{0，V}，通信信道是视距信道，无人机的通信功率固定为Pc，则在t时刻时无人机与地面节点UE1、UE2之间的瞬时通信速率为：



其中xr为无人机的位置，r∈{1，2}，H2+(q(t)-xr)2为无人机与地面节点的距离的平方，B为信道带宽，γ为参考距离为1m时的信噪比。


3.根据权利要求2所述的无人机基站在线轨迹优化方法，其特征在于，步骤S2所述的无人机在轨迹策略μ下的平均通信时延函数具体为：
每个地面节点发出的通信请求是独立同分布，服从均值为λ/2的泊松过程，每次通信请求的信息量为L比特；无人机收到地面节点UEr的通信请求后，无人机处于通信状态，此时无人机传输L比特给地面节点UEr，另一地面节点的通信请求会被忽略；当完成通信的数据传输后，无人机进开始等待下一次通信请求：
令Δl为无人机完成第l次通信请求的时延，Mt为t时刻无人机完成的通信请求总次数，定义无人机的给定起始位置为q(0)＝0，则轨迹策略μ下的平均通信时延函数为：





4.根据权利要求3所述的无人机基站在线轨迹优化方法，其特征在于，所述步骤S3包括：对所述无人机的轨迹离散化，将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型，对其中的状态空间、动作、动作策略及时延函数建模，并利用强化学习算法求解最优轨迹策略，从而完成无人机基站在线轨迹优化。


5.根据权利要求4所述的无人机基站在线轨迹优化方法，其特征在于，步骤S3中所述将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型，对其中的状态空间、动作、动作策略及时延函数建模具体为：
(1)状态空间：S＝I×R，R＝{0，1，2}表示请求状态，其中R＝0表示没有请求，R＝1表示接收到来自地面节点UE1的请求，R＝2表示接收到来自地面节点UE2的请求；I为无人机轨迹离散化的位置索引序列{-N，-N+1，…，N-1，N}，其对应的位置集合是将状态空间分为等待状态Swait＝I×{0}和通信状态Scomm＝I×{1，2}；
(2)动作：设无人机处于等待状态Sn＝(i，0)∈Swait，表示无人机处于qi的位置没有接收到请求；动作集合为m＝{-1，0，1}，其中m＝-1表示无人机向左移动到qi+1，m＝0表示无人机停留盘旋，m＝1表示无人机向右移动到qi-1；每个动作所花费的时间，即无人机在两个相邻的离散点所需时间为
当无人机处于通信状态Sn＝(i，r)∈Scomm，r＝1，2，表示无...

【专利技术属性】
技术研发人员：张广驰，严雨琳，崔苗，林凡，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44