一种基于E-SAC算法的无人机空战运动控制方法技术

本发明专利技术公开了一种基于E

【技术实现步骤摘要】
一种基于E
‑
SAC算法的无人机空战运动控制方法


[0001]本专利技术属于无人机
，具体涉及一种无人机空战运动控制方法。

技术介绍

[0002]随着智能算法应用的层出不穷，学者与研究人员意识到“人工智能+无人机”的组合将会产生更多高级、新型、有效的空战策略，能够改变未来战场的作战模式。
[0003]近些年来，国内外已出现研究使用深度强化学习算法进行无人机运动控制，如Q
‑
learning、DQN、DDPG算法。然而这些方法在训练过程中，算法收敛速度较慢，训练训练较低，极易陷入局部最优决策，无法获得全局最优的无人机自主机动决策，不能满足空战对抗机动决策的要求。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供了一种基于E
‑
SAC算法的无人机空战运动控制方法，首先构建无人机运动模型，获取无人机自身的状态及敌机的相对状态，组成总状态，然后构建SAC算法模型并进行训练，最后根据无人机机动模型，采用SAC算法模型实现机动，直至实现对敌机的攻击。本专利技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于E
‑
SAC算法的无人机空战运动控制方法，其特征在于，包括以下步骤：步骤S1：构建无人机运动模型；步骤S2：获取无人机自身的状态及敌机的相对状态，组成总状态s；步骤S3：构建SAC算法模型并进行训练；步骤S31：构建SAC算法模型，构建奖励函数R；步骤S32：建立专家决策方法，获取专家动作控制量，提取专家经验样本，获得专家经验池M
e
；步骤S33：将总状态s输入SAC算法模型并输出动作控制量a，无人机执行动作后获取下一时刻状态s'及奖励值r，将元组<s,a,s
′
,r>存储至SAC算法模型的经验池M；步骤S34：使用专家经验池M
e
和SAC算法经验池M中数据对SAC算法模型进行训练，直至算法模型收敛；步骤S4：根据步骤S1中的无人机机动模型，无人机采用SAC算法模型实现机动，直至实现对敌机的攻击。2.根据权利要求1所述的一种基于E
‑
SAC算法的无人机空战运动控制方法，其特征在于，所述步骤S1中构建无人机运动模型的步骤具体包括：设OXYZ坐标系为无人机所在的三维空间坐标系，其中原点O表示无人机作战区域中心，X轴指向正北方向，Z轴指向正东方向，Y轴指向垂直向上的方向；将无人机视为质点，无人机运动方程如下所示：将无人机视为质点，无人机运动方程如下所示：其中t为当前时刻，dT为无人机的积分步长，[X
t
,Y
t
,Z
t
],[X
t+dT
,Y
t+dT
,Z
t+dT
]分别为t时刻和t+dT时刻无人机的坐标位置分量，V
t
,V
t+dT
分别为无人机在t时刻和t+dT时刻的速度大小，俯仰角θ
t
,θ
t+dT
分别为无人机在t时刻和t+dT时刻的速度向量与XOZ平面夹角，航向角为无人机在t时刻和t+dT时刻的速度向量在XOZ平面投影向量与X轴正向夹角，dv为无人机加速度大小，dθ为无人机俯仰角变化量，为无人机航向角变化量。3.根据权利要求2所述的一种基于E
‑
SAC算法的无人机空战运动控制方法，其特征在于，所述步骤S2中获取无人机自身的状态及敌机的相对状态，组成总状态s的具体步骤包括：用表示无人机与敌机之间的位置向量，方向由无人机指向敌机，d为无人机到敌机的距离；q表示相对方位角，为无人机速度向量与距离向量的夹角；无人机与敌机相对态势数据用d与q描述：
其中，为无人机在三维空间坐标系的位置向量，为速度向量，v
r
为无人机速度大小，θ
r
为无人机俯仰角，为无人机航向角；为敌机在三维空间坐标系的位置向量，为速度向量，v
b
为敌机速度大小，θ
b
为敌机俯仰角，为敌机航向角；无人机的自身状态包括无人机三维空间坐标系下的位置分量[X
r
,Y
r
,Z
r
]，无人机速度大小v
r
，无人机俯仰角θ
r
，无人机航向角无人机与敌机的相对状态包括相对距离d及相对方位角q；总状态动作控制量a为4.根据权利要求3所述的一种基于E
‑
SAC算法的无人机空战运动控制方法，其特征在于，所述步骤S31中构建SAC算法模型，构建奖励函数R的具体步骤包括：步骤S31
‑
1：SAC算法模型通过神经网络来实现，包含SAC算法经验池M，一个Actor神经网络π
θ
、两个Soft
‑
Q神经网络和两个Target Soft
‑
Q网络和其中，θ，均表示不同的网络权重；步骤S31
‑
2：奖励函数R的构建如下：R＝w1*R
d
+w2*R
a
，R
d1
＝
‑
d/(5*D
max
)R
d
＝R
d1
+R
d2
R
q1
＝
‑
q/180R
q2
＝3,if q<q
max
R
q
＝R
q1
+R
q2
其中，R
d
为距离奖惩函数，R
q
为角度奖惩函数，w1,w2为距离奖惩与角度奖惩的权重；R

【专利技术属性】
技术研发人员：李波，甘志刚，梁诗阳，高晓光，万开方，越凯强，杨志鹏，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：