一种基于强化学习的无人机集群部署与轨迹规划方法技术

本发明专利技术公开了一种基于强化学习的无人机集群部署与轨迹规划方法，包括：构建分层无人机集群架构

【技术实现步骤摘要】
一种基于强化学习的无人机集群部署与轨迹规划方法


[0001]本专利技术属于无人机轨迹规划
，具体涉及一种基于强化学习的无人机集群部署与轨迹规划方法
。

技术介绍

[0002]无人机凭借灵活性高
、
成本低和功能性强等优点有效推动了多维无线通信网络的发展，具体来说，无人机能够为
6G
网络提供高效的无线覆盖方案，有助于推动
6G
网络形成多元异构
、
跨域融合的空天地海一体化网络
。
例如，无人机可以作为蜂窝网络中的移动基站，也可以充当中继在地面通信设备之间传送数据
。
此外，无人机之间相互配合形成蜂群，可在偏远地区执行目标探测
、
灾害管理和侦查监视等危险任务
。
近年来随着嵌入式系统以及无线通信技术的研究
、
生产技术的迅速发展，小型无人机技术得到了飞速的发展，使得小型无人机在民用领域以及军用领域都有了较为广泛的应用
。
因此无人机技术被认为是解决区域覆盖问题的很有前途的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于强化学习的无人机集群部署与轨迹规划方法，其特征在于，包括：步骤1，构建基于星型通信拓扑结构的分层无人机集群架构，并根据自由空间损耗模型建立无人机之间通信链路模型；步骤2，考虑为随机分布的地面用户提供覆盖服务，建立无人机与地面用户的通信链路模型，得出无人机集群的覆盖范围；步骤3，定义用户覆盖率来评估无人机集群的覆盖性能；步骤4，建立障碍物模型，基于无人机与地面用户的通信链路模型以及用户覆盖率，考虑大规模区域内的障碍物模型，联合优化无人机集群的部署与覆盖路径，建立区域覆盖优化模型；步骤5，基于无人机集群的覆盖范围以及用户覆盖率，利用基于
K
均值聚类方法，首先对泊松分布的地面用户进行分簇，得到满足覆盖要求的无人机集群最优悬停点；步骤6，基于障碍物模型
、
无人机之间通信链路模型，将步骤5得到的最优悬停点作为约束条件，将优化模型规范为马尔可夫决策过程，转化为求解最优决策问题；步骤7，根据基于强化学习的无人机集群路径规划算法，求解最优决策问题，得到具有最小飞行损耗最优覆盖路径，实现无人机集群的节能部署与轨迹规划
。2.
根据权利要求1所述的一种基于强化学习的无人机集群部署与轨迹规划方法，其特征在于，所述步骤1包括：步骤1‑1：建立基于星型通信拓扑结构的分层无人机集群架构为：
U
UAV
＝
{H
i
,T
i,1
,T
i,2
,...,T
i,K
‑1}
其中无人机集群内共有
K
架无人机，
H
i
表示簇头无人机，
T
i,j
表示簇尾无人机，
j
＝
1,2
…
,K
‑1架；步骤1‑2：根据自由空间损耗模型的
Firrs
推导公式，建立无人机之间通信链路模型：
P
r,H
(p
i
,p
i,j
)
＝
P
C,T
+G
t
+G
r
‑
P
l
(p
i
,p
i,j
)
其中
p
i
和
p
i,j
分别表示簇头无人机
H
i
与簇尾无人机
T
i,j
的位置，
P
r,H
(p
i
,p
i,j
)
为接收功率，
P
C,T
为
TUAV
的信号发送功率，而
G
r
和
G
t
分别表示收发天线的恒定增益；
P
l
(p
i
,p
i,j
)
则表示大尺度衰落效应中的路径损耗：式中
v
c
和
f
c
分别指的是光速和无线电波的传输频率，而
α
＞0是路径损耗因子
。3.
根据权利要求2所述的一种基于强化学习的无人机集群部署与轨迹规划方法，其特征在于，所述无人机之间通信链路模型中无人机的通讯范围满足：其中
||p
i
‑
p
i,j
||2即为无人机的通讯范围
r
max
。4.
根据权利要求1所述的一种基于强化学习的无人机集群部署与轨迹规划方法，其特征在于，所述步骤2包括：步骤2‑1：考虑为随机分布的地面用户提供覆盖服务，建立无人机与地面用户的通信链路模型为：
其中为通信链路的信道增益，
β0是参考距离为每米的信道增益，
d
j,m
为无人机与地面用户之间的距离；
R
j,m
表示信号传输速率，
P
m,j
指地面用户的发射功率，
B
和
η
分别为信道带宽和噪声的功率密度；步骤2‑2：无人机集群的覆盖范围为：其中
r
max
表示无人机之间通信的通信半径，表示单一无人机的覆盖半径，
h
j
为无人机集群的飞行高度
。5.
根据权利要求1所述的一种基于强化学习的无人机集群部署与轨迹规划方法，其特征在于，所述步骤3中的用户覆盖率定义为：其中
A
n
表示在每个无人机集群悬停点已覆盖的用户数，
M
表示地面用户总数，
N
表示悬停点总数
。6.
根据权利要求1所述的一种基于强化学习的无人机集群部署与轨迹规划方法，其特征在于，所述步骤4包括：步骤4‑1：建立障碍物模型为：
{O|(x
o
,y
o
),Ob(x
o
,y
o
)}
，其中
O
表示障碍物，
(x
o
,y
o
)
表示障碍物的二维坐标，
Ob(x
o
,y
o

【专利技术属性】
技术研发人员：贾子晔，何佳，何立军，董超，吴启晖，胡慧玲，王斌，胡珈玮，张唯一，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：