一种基于强化学习的机动智能决策规避导弹方法技术

本发明专利技术公开了一种基于强化学习的机动智能决策规避导弹方法，方法包括：步骤1、在Unity端，建立强化学习环境；步骤2、搭建第一神经网络，所述第一神经网络包括决策网络和好奇心网络，设置奖励值判别机制，其中，奖励值由第一奖励值和第二奖励值组成，所述第一奖励值由所述好奇心网络计算得出；步骤3、在Python端，在所述强化学习环境下，训练所述第一神经网络得到训练完成的神经网络；步骤4、利用所述训练完成的神经网络对导弹进行规避。本发明专利技术的规避决策的神经网络结构简单，易于训练且实时性好。本发明专利技术利用神经网络作为状态空间到动作空间的映射函数，有效解决的传统算法中状态空间大、动作空间大等缺点。动作空间大等缺点。动作空间大等缺点。

【技术实现步骤摘要】
一种基于强化学习的机动智能决策规避导弹方法


[0001]本专利技术属于导弹规避
，具体涉及一种基于强化学习的机动智能决策规避导弹方法。

技术介绍

[0002]空战机动智能决策是近年来的研究热点，而合理规避导弹则是现代空战决策研究的关键组成部分。现代空战中，导弹是飞行器最大的威胁。导弹在空域具有速度快、碰撞扇形区域半径大、航线不固定等特点，对飞行器有极大的摧毁能力。因此，如何对导弹打击进行规避，是现代飞行器研究的必修课题。目前，军事模拟领域中使用面向人工智能技术的建模与仿真越来越多。傅莉等人采用专家系统进行分析决策，张涛等人提出优化理论方法对该问题进行求解。张宏鹏借助第一神经网络对机动动作进行最优规划，谢新辉建立了战斗机末端规避的数学模型，分析了滚筒机动的末端规避性能。
[0003]上述方法在机动智能决策过程中，都是通过从现有的机动动作库中选出最优机动序列实现，具有状态空间大、动作空间大、容易收敛至局部最优等缺点，对机动库没有涉及的情况表现较差。
[0004]但是，上述方法会导致在搜索最优决策时，时间及空间复杂度过高，不符合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的机动智能决策规避导弹方法，其特征在于，所述机动智能决策规避导弹方法包括：步骤1、在Unity端，建立强化学习环境；步骤2、搭建第一神经网络，所述第一神经网络包括决策网络和好奇心网络，设置奖励值判别机制，其中，奖励值由第一奖励值和第二奖励值组成，所述第一奖励值由所述好奇心网络计算得出；步骤3、在Python端，在所述强化学习环境下，训练所述第一神经网络得到训练完成的神经网络；步骤4、利用所述训练完成的神经网络对导弹进行规避。2.根据权利要求1所述的机动智能决策规避导弹方法，其特征在于，所述步骤1包括：建立飞行器动力学模型和制导导弹所满足的运动方程组，其中，飞行器动力学模型包括飞行器受到的气动升力、飞行器受到的气动侧力和飞行器受到的阻力。3.根据权利要求2所述的机动智能决策规避导弹方法，其特征在于，所述飞行器受到的气动升力为：其中，L为气动升力，ρ为空气密度，V为空速，s为机翼面积，C
L
为升力系数；所述飞行器受到的气动侧力为：其中，sf为气动侧力，C
Y
为侧力系数；所述飞行器受到的阻力为：其中，drag为阻力，C
D
为阻力系数。4.根据权利要求2所述的机动智能决策规避导弹方法，其特征在于，所述制导导弹所满足的运动方程组为：其中，r为导弹与目标的距离，q为目标视线角，v为导弹的速度，v
t
为目标的速度，σ为导弹速度向量与基准线之间的夹角，σ
t
为目标速度向量与基准线之间的夹角，η为导弹速度向量与目标视线之间的夹角，η
t
为飞行器速度向量与目标视线之间的夹角，K为导引系数，ε＝
0为导引关系式。5.根据权利要求1所述的机动智能决策规避导弹方法，其特征在于，所述决策网络使用PPO算法作为决策方法。6.根据权利要求1所述的机动智能决策规避导弹方法，其特征在于，所述好奇心网络包括前向网络和反向网络，所述前向网络包括目标...

【专利技术属性】
技术研发人员：樊养余，刘洋，段昱，刘曦春，吕国云，张君昌，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：