基于有人/无人机系统的近距空战智能决策方法技术方案

本发明专利技术提供一种基于有人/无人机系统的近距空战智能决策方法。首先确定系统的组成，然后建立无人机的航迹控制模型和有人/无人机系统近距空战智能决策模型，并引入有人机的典型空战意图，具体通过不同的奖励函数模型进行描述；之后利用强化学习算法对有人/无人机系统近距空战智能决策模型进行训练，得到满足预设成功率要求的各空战意图下的神经网络；最后，有人机以命令的形式将空战意图下达给无人机，无人机进行智能决策，并生成空战航迹。本发明专利技术将强化学习理论与有人/无人智能空战决策模型相结合，创新地引入有人机的典型空战意图，通过嵌入智能决策系统，可有效发挥有人机在异构系统中的指挥引导作用，实现有人机与无人机的优势互补。

【技术实现步骤摘要】
基于有人/无人机系统的近距空战智能决策方法
本专利技术属于有人/无人机协同
，具体涉及一种基于有人/无人机系统的近距空战智能决策方法。
技术介绍
无人机作为新兴的空中作战力量，在现代局部战争中发挥着越来越多的作用，与有人机相比，无人机具有零伤亡、持续作战能力强、全寿命周期成本低，以及在尺寸和机动性等方面的特有优势。通过无人机与有人作战平台的协同作战运用，在一定程度上可以弥补当前无人机自主水平不够的不足，使无人机与有人作战平台优势互补，增强体系立体态势感知能力、提高战场生存力和任务成功率，进而提升体系作战的能力，该作战方式是潜在的第六代穿透型战机的发展方向之一。在近距对空作战中，敌我机群的机动变化更为剧烈，战场态势更迭更为迅速，对决策的实时性和智能程度要求更高。目前机动决策的方法可大致分为两大类：一类是以微分对策和专家系统为代表的传统方法；另一类是以强化学习、遗传算法、影响图法、蚁群算法、人工免疫系统等为代表的智能方法。近年来，随着人工智能技术的普及，特别是深度强化学习理论的迅速发展，其凭借着不需要先验知识输入，仅依靠与环境交互“试错”实现自我学习的特点而具备了与近距空战决策进行结合的可能，同时该技术的运用可以极大地缓解有人机飞行员决策的压力，为其争取更多的时间去指挥调度整个有人/无人系统，从而最大限度地发挥系统的作战效力。
技术实现思路
为体现有人机在全局指挥调度方面的特点，同时充分发挥无人机在空战中持续作战能力强、全寿命周期成本低的优势，本专利技术以有人/无人机系统为研究对象，提出一种基于有人/无人机系统的近距空战智能决策方法。具体地，本专利技术的技术方案是：一种基于有人/无人机系统的近距空战智能决策方法，包括以下步骤：S1.确定有人/无人机系统的组成，其中有人机用于全局指挥调度，无人机用于实施空战；S2.根据近距空战更加重视作战双方相对位置和相对速度的特点，确定系统内无人机的航迹控制模型；S3.根据马尔科夫决策过程理论，建立有人/无人机系统近距空战智能决策模型，其中奖励函数根据有人机不同空战意图确定；S4.利用强化学习算法对有人/无人机系统近距空战智能决策模型进行训练，得到满足预设成功率要求的各空战意图下的神经网络；S5.有人机根据战场态势判断无人机应采取的空战意图，并以命令的形式下达给无人机；S6.无人机加载空战意图所对应的神经网络，进行智能决策，并结合无人机的航迹控制模型，生成空战航迹。进一步的，本专利技术的S1通过以下步骤方法实现：由n架有人机和k架无人机构成有人/无人机系统，其中n≥1，k≥1，系统中，无人机表示为集合U，U＝{i∈N+|ui,i≤k}，其中N+表示正整数，ui表示无人机个体，所配备的武器为近距离航炮；有人机记为M，M＝{j∈N+|cj,j≤n}，其中cj表示有人机个体。进一步的，本专利技术的S2通过以下步骤方法实现：在研究无人机空战航迹时，重点是研究空战双方实时的位置信息和速度信息，因此可将无人机视为质点，研究其三自由度质点模型：其中，(x,y,h)表示无人机在惯性坐标系下的三维坐标；(γ,χ,μ,α)表示无人机的航迹倾角、航向角、航迹滚转角和迎角；v指无人机飞行速度；m为无人机质量，g为重力加速度；T为发动机推力；D为空气阻力，L为升力，二者的计算公式为：其中，Su为无人机参考横截面积；CL和CD分别为升力和阻力系数；ρ为空气密度，当无人机在对流层高度飞行时，其随海拔高度h的变化为：ρ＝1.225*[(288.15-0.0065*h)/288.15]4.25588无人机的发动机推力T的表达式如下：T＝δTmax其中，Tmax为发动机最大推力，δ为油门，取值为[0,1]；设定u0＝(δ,α,μ)为无人机航迹控制的输入，s＝(x,y,h,v,χ,γ)为无人机航迹控制的状态量。进一步的，本专利技术的S3通过以下步骤方法实现：智能体与环境的交互都可以用马尔科夫决策过程来表示，其主要包含状态空间、动作空间、奖励函数、折扣系数以及状态转移概率等5个要素，而对于无模型强化学习，只需要讨论5个要素中的前4个要素；其中近距空战智能决策模型的状态空间要素xo具体为：xo＝(d0,qr,qb,β0,Δh,ΔV,v,h,F1,F2)其中，其中d0、qr、qb、和β0的表达式为：其中，下标r和b用以区分我方无人机与敌方无人机的状态量；d0表示敌我双方相对距离；q表示速度矢量与质心连线的夹角；β0、Δh、ΔV分别表示敌我双方速度矢量的夹角、高度差和速度差；F1和F2分别是达成目标和超出限幅的预警标识；近距空战智能决策模型的动作空间要素a＝(a1,a2,a3)，与无人机航迹控制量u0＝(δ,α,μ)之间的联系为：其中，Sigmoid和Tanh为神经网络的激活函数，输出范围分别为[0,1]和[-1,1]，αv和αμ分别为α和μ的值域；近距空战智能决策模型的奖励函数要素具体为：当有人机的意图为攻击意图时，此时意图目标达成的条件为：qr∈qattack且d0＜demit，其中qattack和demit表示允许攻击敌方的视线角区间和发射距离；当敌方构成相同的发射条件或d0＞descape时，认为我方失败，其中descape为逃脱距离；另外，当无人机的状态量超出限幅时，亦认定失败，具体的优势函数设定如下：其中，ra,d、rv、rh和rresult分别表示角度距离优势函数、速度优势函数、高度优势函数和结果优势函数；V0、Δh0为最优空战速度和高度差；sr为我方无人机状态量值域；当达到意图目标状态或失败状态3s及以上时，rresult置为非零值，不足3s时通过预警标识进行标记和引导；当有人机的意图为逃离意图时，此时意图目标达成的条件是：d0＞descape且qb∈q0，具体的优势函数如下：其中，qb∈q0表示我方攻击时应保证敌方的视线角在q0的区间内，通常q0表示一个钝角区间，q0_min为q0的最小值；将各意图中的ra,d、rv、rh、rresult和预警标识F1，F2进行加权，得到两意图下的奖励函数R：其中，ωa,d,ωv,ωh,ωresult,为各优势函数对应的权重，由经验值获取；近距空战智能决策模型的折扣系数要素γd的设定通常为经验常值，如γd＝0.9。进一步的，本专利技术的S4通过以下步骤方法实现：根据强化学习中智能体利用环境反馈调整自身策略以实现最佳决策的特性，对近距空战智能决策模型进行训练，当达到每训练100回合有90回合达到空战意图目标时，停止训练，并保存此时的神经网络。进一步的，本专利技术的S5通过以下步骤方法实现：当有人/无人机系统以完成空战突袭任务为目标或敌方机体性能指标低于我方时，有人机向无人机下达强攻意图指令；当有人/无人机系统旨在完成空战中诱敌任务或敌方空战优势较大、我方机体出现故障时本文档来自技高网...

【技术保护点】
1.一种基于有人/无人机系统的近距空战智能决策方法，其特征在于，包括以下步骤：/nS1.确定有人/无人机系统的组成，其中有人机用于全局指挥调度，无人机用于实施空战；/nS2.确定系统内无人机的航迹控制模型；/nS3.根据马尔科夫决策过程理论，建立有人/无人机系统近距空战智能决策模型，其中奖励函数根据有人机不同空战意图确定；/nS4.利用强化学习算法对有人/无人机系统近距空战智能决策模型进行训练，得到满足预设成功率要求的各空战意图下的神经网络；/nS5.有人机根据战场态势判断无人机应采取的空战意图，并以命令的形式下达给无人机；/nS6.无人机加载空战意图所对应的神经网络，进行智能决策，并结合无人机的航迹控制模型，生成空战航迹。/n

【技术特征摘要】
1.一种基于有人/无人机系统的近距空战智能决策方法，其特征在于，包括以下步骤：
S1.确定有人/无人机系统的组成，其中有人机用于全局指挥调度，无人机用于实施空战；
S2.确定系统内无人机的航迹控制模型；
S3.根据马尔科夫决策过程理论，建立有人/无人机系统近距空战智能决策模型，其中奖励函数根据有人机不同空战意图确定；
S4.利用强化学习算法对有人/无人机系统近距空战智能决策模型进行训练，得到满足预设成功率要求的各空战意图下的神经网络；
S5.有人机根据战场态势判断无人机应采取的空战意图，并以命令的形式下达给无人机；
S6.无人机加载空战意图所对应的神经网络，进行智能决策，并结合无人机的航迹控制模型，生成空战航迹。


2.根据权利要求1所述的基于有人/无人机系统的近距空战智能决策方法，其特征在于，所述步骤S1中的有人/无人机系统具体由n架有人机和k架无人机组成，其中n≥1，k≥1；所述系统中，无人机表示为集合U，U＝{i∈N+|ui,i≤k}，其中ui表示无人机个体，所配备的武器为近距离航炮；有人机记为M，M＝{j∈N+|cj,j≤n}，其中cj表示有人机个体。


3.根据权利要求2所述的基于有人/无人机系统的近距空战智能决策方法，其特征在于，步骤S2中无人机的航迹控制模型具体为：



其中，(x,y,h)表示无人机在惯性坐标系下的三维坐标；(γ,χ,μ,α)表示无人机的航迹倾角、航向角、航迹滚转角和迎角；v指无人机飞行速度；m为无人机质量；T为发动机推力；D为空气阻力，L为升力；
无人机的发动机推力T的表达式如下：
T＝δTmax
其中，Tmax为发动机最大推力，δ为油门，取值为[0,1]；设定u0＝(δ,α,μ)为无人机航迹控制的输入，s＝(x,y,h,v,χ,γ)为无人机航迹控制的状态量。


4.根据权利要求3所述的基于有人/无人机系统的近距空战智能决策方法，其特征在于，步骤S3中近距空战智能决策模型的状态空间要素xo具体为：
xo＝(d0,qr,qb,β0,Δh,ΔV,v,h,F1,F2)
其中，其中d0、qr、qb、和β0的表达式为：



其中，下标r和b用以区分我方无人机与敌方无人机的状态量；d0表示敌我双方相对距离；q表示速度矢量与质心连线的夹角；β0、Δh、ΔV分别表示敌我双方速度矢量的夹角、高度差和速度差；F1和F2分别是达成目标和超出限幅的预警标识。


5.根据权利要求3所述的基于有人/无人机系统的近距空战智能决策方法，其特征在于，步骤S3中近距空战智能决策模型的动作空间要素a＝(a1,a2,a3)，与无人机航迹控制量u0＝(δ,α,μ)之间的联系为：



其中，Si...

【专利技术属性】
技术研发人员：张勇，
申请(专利权)人：中国人民解放军海军航空大学，
类型：发明
国别省市：山东;37