基于强化学习的固定翼无人机防出界输入数据计算方法技术

本发明专利技术涉及一种基于强化学习的固定翼无人机防出界输入数据计算方法，对于确定的训练场景，根据无人机的实时位置和场景边界，判断无人机在

【技术实现步骤摘要】
基于强化学习的固定翼无人机防出界输入数据计算方法


[0001]本专利技术属于无人机导航领域，涉及一种基于强化学习的固定翼无人机防出界输入数据计算方法
。

技术介绍

[0002]近年来，随着无人机应用的深入，在一些特殊任务中，需要精准控制无人机的航行范围
。
例如，军用领域，无人机协同作战时需要在指定区域内航行；民用领域，无人机需要规避敏感区域或在指定区域内作业
(
农药喷洒等
)。
因此，无人机应具有较强的防出界能力
。
当前，越来越多的研究使用强化学习算法解决无人机的控制问题
。
在强化学习算法的应用中，其核心就是根据待解决问题及控制主体设计一组输入状态量
。
强化学习算法就是根据输入信息训练智能体控制无人机执行指定任务
。
当输入不同时，对于执行同一任务的智能体，其性能差异较大
。
因此，设计一组合理的输入对智能体
(
根据强化学习算法训练
)
控制效果有较大影响
。
[0003]在
《
一种基于强化学习的
AGV
路径规划方法及系统
》(
专利，公布号：
CN113485380A
，公布日期：
2021.10.08)
中，通过提出的方法实现了自动导向车
(AGV)
的路径规划
。
在
《
一种基于多智能体强化学习的机器人追捕方法
》(
专利，公布号：
CN113095500A
，公布日期：
2021.07.09)
中，通过提出的算法实现了2个智能体追捕1个逃跑者的问题
。
在
《
一种面向通信覆盖的无人机网络自主部署方法
》(
专利，公布号：
CN114268963A
，公布日期：
2022.04.01)
中，通过提出方法实现了通信无人机的自动部署
。
上述三项专利中，为了使智能体获得防出界功能，在算法的奖励函数内均设计了对智能体出界的惩罚项；智能体根据输入状态中无人机
/AGV/
机器人的坐标对场景状态进行判断，即判断是否接近边界以及是否需要改变航向以防止出界
。
但是，在本专利技术的无人机运动学模型中，智能体是通过航向角来控制无人机航行的
。
由于智能体无法直接判断控制变量
(
航向角
)
与输入状态
(
坐标
)
之间的关系，智能体不能直接通过自身坐标来确定如何更改航向角以避免出界
。
因此，这一特性决定了当输入状态与上述三项专利相同时，在防出界任务中智能体无法获得较好的控制效果
。
[0004]综上所述，应根据无人机的运动学特性，对无人机可获得的状态数据进行筛选，并对筛选出的数据进一步处理
。
该处理后的数据应可以准确表征无人机与边界的相对位置关系
(
即无人机是否靠近边界
)
，以及在靠近边界时可以根据该输入数据确定待执行的防出界动作
。
[0005]在强化学习算法中，当根据当前防出界输入设定方案训练智能体时，无人机发生出界的概率相对较高
。
这主要是由于无人机不同于其他主体的运动学特性造成的，即当运动学模型的控制输入是航向角时，在以约束坐标为目的的防出界任务中，智能体无法通过输入坐标获得较好的控制效果
。
因此，本专利技术针对强化学习中固定翼无人机基于坐标表为输入防出界性能较差的问题，提出了一种新的输入数据计算方法
。
将该计算后的数据作为智能体输入状态的一部分输入智能体，可以降低无人机出界的概率
。

技术实现思路

[0006]要解决的技术问题
[0007]为了避免现有技术的不足之处，本专利技术提出一种基于强化学习的固定翼无人机防出界输入数据计算方法，用于降低固定翼无人机出界事件发生的概率
。
[0008]技术方案
[0009]一种基于强化学习的固定翼无人机防出界输入数据计算方法，其特征在于根据无人机位置以及边界位置，计算无人机在
XOY
平面中与边界的距离数据，将距离数据输入至控制无人机强化学习的智能体中，控制无人机防出界；输入数据计算步骤如下：
[0010]根据无人机的实时位置
p
＝
[p
x
,p
y
]，以及无人机训练场景的范围
R
＝
[r
x
,r
y
]，判断无人机在
XOY
平面的朝向，其中
r
x
∈[x
min
,x
max
]，
r
y
∈[y
min
,y
max
]；
[0011]所述判断无人机在
XOY
平面的朝向准则是：
[0012]判断
p
x
与
x
min
是否正负相同；
[0013]判断
p
x
与
x
max
是否正负相同；
[0014]判断
p
y
与
y
min
是否正负相同；
[0015]判断
p
y
与
y
max
是否正负相同；
[0016]根据无人机在
XOY
平面的朝向，按照无人机的航向角，计算无人机到与其朝向相关的两个边界的距离
dist1
，
dist2
，具体为：
[0017]当无人机的航向角
θ
满足0＜
θ
≤90
时，计算无人机到直线
x
＝
y
max
以及直线
y
＝
x
max
的距离
dist1,dist2
；
[0018]当无人机的航向角
θ
满足
90
＜
θ
≤180
时，计算无人机到直线
y
＝
x
min
以及直线
x
＝
y
max
的距离
dist1,dist2
；
[0019]当无人机的航向角
θ
满足
180
＜
θ
≤270
时，计算无人机到直线
x
＝
y本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于强化学习的固定翼无人机防出界输入数据计算方法，其特征在于根据无人机位置以及边界位置，计算无人机在
XOY
平面中与边界的距离数据，将距离数据输入至控制无人机强化学习的智能体中，控制无人机防出界；输入数据计算步骤如下：根据无人机的实时位置
p
＝
[p
x
,p
y
]
，以及无人机训练场景的范围
R
＝
[r
x
,r
y
]
，判断无人机在
XOY
平面的朝向，其中
r
x
∈[x
min
,x
max
]
，
r
y
∈[y
min
,y
max
]
；所述判断无人机在
XOY
平面的朝向准则是：判断
p
x
与
x
min
是否正负相同；判断
p
x
与
x
max
是否正负相同；判断
p
y
与
y
min
是否正负相同；判断
p
y
与
y
max
是否正负相同；根据无人机在
XOY
平面的朝向，按照无人机的航向角，计算无人机到与其朝向相关的两个边界的距离
dist1
，
dist2
，具体为：当无人机的航向角
θ
满足0＜
θ
≤90
°
时，计算无人机到直线
x
＝
y
max
以及直线
y
＝
x
max
的距离
dist1,dist2
；当无人机的航向角
θ
满足
90
＜
θ
≤180
°
时，计算无人机到直线
y
＝
x
min
以及直线
x
＝
y
max
的距离
dist1,dist2
；当无人机的航向角
θ
满足
180
＜
θ
≤270
°
时，计算无人机到直线
x
＝
y
min
以及直线
y
＝
x
min
的距离
dist1,dist2
；当无人机的航向角
θ
满足
270
＜
θ
≤360
°
时，计算无人机到直线
x
＝
y
max
以及直线
y
＝
x
min
的距离
dist1,dist2
；将
dist1,dist2
作为状态量的一部分输入给控制无人机的智能体
。2.
根据权利要求1所述基于强化学习的固定翼无人机防出界输入数据计算方法，其特征在于：所述判断无人机在
XOY
平面的朝向的根据是：计算
xMin
＝
p
x
·
x
min
，若
xMin≥0
则
p
x
与
x
min
正负相同，否则
p
x
与
x
min
正负相反；计算
xMax
＝
p
x
·
x
max
，若
xMax≥0
则
p
x
与
x
max
正负相同，否则
p
x
与
x
max
正负相反；计算
yMin
＝
p
y
·
y
min
，若
yMin≥0
则
p
y
与
y
min
正负相同，否则
p
y
与
y
min
正负相反；计算
yMax
＝
p
y
·
y
max
，若
yMax≥0
则
p
y
与
y
max
正负相同，否则
p
y
与
y
max
正负相反
。3.
根据权利要求1所述基于强化学习的固定翼无人机防出界输入数据计算方法，其特征在于：所述当无人机的航向角
θ
满足0＜
θ
≤90
°
时，计算无人机到直线
x
＝
y
max
以及直线
y
＝
x
max
的距离
dist1,dist2
时，
dist1
的获取：如果
p
y
与
y
max
正负相同，
dist1
＝
y
max
‑
p
y
，如果
p
y
与
y
max
正负相反且
p
y
≤y
max
，
dist1
＝
|y
max
|+|p
y
|
，否则
dist1
＝
|y
max
|
‑
|p
y
|
；
dist2
的获取：如果
p
x
与
x
max
正负相同，
dist2
＝
x
max
‑
p
x
，如果
p
x
与
x
max
正负相反且
p
x
≤x
max
，
dist2
＝
|x
max
|+|p
x
|
，否则
dist2
＝
|x
max
|
‑
|p
x
|。4.
根据权利要求1所述基于强化学习的固定翼无人机防出界输入数据计算方法，其特征在于：所述当无人机的航向角
...

【专利技术属性】
技术研发人员：祝小平，王飞，祝宁华，
申请(专利权)人：西安爱生技术集团有限公司，
类型：发明
国别省市：