一种基于强化学习的多机编队协同控制策略优化方法技术

本申请属于飞机控制技术领域，特别涉及一种基于强化学习的多机编队协同控制策略优化方法。该方法包括步骤S1、确定由僚机及长机组成的拓扑编队的系统联合状态参数；步骤S2、根据所述联合状态参数中的僚机期望控制值，在设定的动作空间给定的各控制参量变化范围内，确定每个控制周期内的僚机的控制指令；步骤S3、基于所述控制指令控制各僚机动作，并计算由以长机为中心形成的用于表示僚机期望飞行空间的环形区域的参数构成的回报函数；步骤S4、以所述回报函数最大为优化目标对僚机的协同控制策略算法进行训练及优化。本申请能够实现编队协同策略的不断训练与优化，能够达到协同控制预期效果，有效提升了多机编队的任务完成率。率。率。

【技术实现步骤摘要】
一种基于强化学习的多机编队协同控制策略优化方法


[0001]本申请属于飞机控制
，特别涉及一种基于强化学习的多机编队协同控制策略优化方法。

技术介绍

[0002]在现代战争中，无人机由于成本低，使用方便，机动性能好，适应性强，不存在飞行员伤亡等特点，发挥着越来越重要的作用。多架无人机组成编队，相互配合协同执行同一任务可以明显提高任务执行效率和任务完成的概率，而且还能够执行更为复杂、多样化的任务。但是，由于受到无人机自身载荷以及智能化程度限制，对于某些特定的任务，往往无法完成。因此，世界各军事强国都在发展有人/无人机协同编队技术。
[0003]目前，国外非常重视有人/无人机协同编队的发展，早在上个世纪便进行了相关研究和试飞验证，探索有人机与无人机平台协同作战的方法，并进行了大量的飞行试验，实现了有人/无人机协同编队作战控制策略、无人机智能化控制、无人机集群控制等技术的突破。
[0004]国内在有人/无人机协同编队控制技术研究领域仍处于初始理论研究阶段。但有人/无人机协同编队作战技术的研究已经受到重视。在有人机与无人机协同作战本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的多机编队协同控制策略优化方法，其特征在于，包括：步骤S1、确定由僚机及长机组成的拓扑编队的系统联合状态参数；步骤S2、根据所述联合状态参数中的僚机期望控制值，在设定的动作空间给定的各控制参量变化范围内，确定每个控制周期内的僚机的包含对各控制参量更新的控制指令；步骤S3、基于所述控制指令控制各僚机动作，并计算由以长机为中心形成的用于表示僚机期望飞行空间的环形区域的参数构成的回报函数；步骤S4、以所述回报函数最大为优化目标对僚机的协同控制策略算法进行训练及优化。2.如权利要求1所述的基于强化学习的多机编队协同控制策略优化方法，其特征在于，步骤S1进一步包括：步骤S11、获取僚机自身的僚机飞行状态参数及获取长机的长机飞行状态参数；步骤S12、获取长机的包含期望滚转角及期望速度的控制策略参数；步骤S13、基于所述僚机飞行状态参数、长机飞行状态参数、控制策略参数确定所述系统联合状态参数。3.如权利要求2所述的基于强化学习的多机编队协同控制策略优化方法，其特征在于，步骤S1中，所述僚机飞行状态参数包括僚机的坐标值、僚机的航向角、僚机的滚转角及僚机的飞行速度，所述长机飞行状态参数包括长机的坐标值，长机的航向角、长机的滚转角及长机的飞行速度，所述系统联合状态参数至少包括僚机相对于长机的平面位置、航向角只差、长机的期望滚转角、长机的期望速度。4.如权利要求1所述的基于强化学习的多机编队协同控制策略优化方法，其特征在于，步骤S2中，所述控制参量变化范围包括但不限于：俯仰角变化范围、偏航角变化范围、滚转角变化范围以及飞行速度变化范围。5.如权利要求1所述的基于强化学习的多机编队协同控制策略优化方法，其特征在于，步骤S2中，确定所述控制指令...

【专利技术属性】
技术研发人员：赵跃明，黑文静，张菁华，吴佳驹，周洲，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：