一种基于多体博弈的无人机群协同自主决策方法及装置制造方法及图纸

本发明专利技术公开了一种基于多体博弈的无人机群协同自主决策方法及装置，该方法包括：构建无人机群与目标的对抗模型，包括无人机及目标的运动模型、对抗双方的机动动作库以及机动攻防库；将对抗双方作为智能体，以二人零和博弈为条件构建随机博弈模型；采用深度强化学习求解所述随机博弈模型，得到最优策略。本发明专利技术基于多体博弈和深度强化学习的智能决策功能，能够自主选取对敌方多种干扰的对抗手段，以适应无人机群在对抗环境下的抗干扰应用需求。对敌方目标所采取的防御手段，无人机群能够自主选取相应的抗干扰手段，实现协同抗干扰对抗功能，提升智能无人机群的任务执行能力、生存能力与协同对抗效能。力与协同对抗效能。力与协同对抗效能。

【技术实现步骤摘要】
一种基于多体博弈的无人机群协同自主决策方法及装置


[0001]本专利技术属于飞行器控制
，尤其是涉及一种基于多体博弈的无人机群协同自主决策方法及装置。

技术介绍

[0002]为实现无人机群在复杂对抗环境下、对多目标对抗时任务执行手段的自主决策，可以将自主手段选择视为任务分配问题。例如，在协同抗干扰过程中，可将侧向机动、电子对抗、释放拖曳诱饵等视为任务并对无人机群资源进行抗干扰任务的分配，选择若干无人机执行不同的抗干扰任务。
[0003]传统方法将自主决策问题构建为面向任务分配的多旅行商问题(MTSP)，采用混合整数线性规划(MILP)模型可以求解自主决策问题模型。此外，为实现更合理的任务分配，还可以引入动态任务时间约束和无人机任务能力的约束，建立扩展的多机协同任务分配模型，同时对MTSP进行路径和时间的优化，建立MTSP数字规划模型。在MILP模型的基础上，还可以加入对异构多无人机多任务分配问题，实现改进的MILP建模。
[0004]基于任务模型解决任务分配问题的算法主要分为最优化方法和启发式方法。匈牙利算法是一种最常用的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多体博弈的无人机群协同自主决策方法，其特征在于，包括：构建无人机群与目标的对抗模型，包括无人机及目标的运动模型、对抗双方的机动动作库以及机动攻防库；将对抗双方作为智能体，以二人零和博弈为条件构建随机博弈模型；采用深度强化学习求解所述随机博弈模型，得到最优策略。2.根据权利要求1所述的无人机编队协同导引方法，其特征在于，无人机及目标的运动模型分别采用质点运动方程表示，用于表示无人机群与目标双方对抗态势的参数包括对抗双方的位置坐标、速度、相对距离、方位角及目标入射角。3.根据权利要求2所述的无人机编队协同导引方法，其特征在于，所述随机博弈模型中，状态S由对抗双方的位置坐标(x,y,z)、速度v、相对距离R、方位角和目标入射角q组成，表示为：4.根据权利要求3所述的无人机编队协同导引方法，其特征在于，所述随机博弈模型中，无人机的动作空间A
p
包括11种动作，目标的动作空间A
T
包括5种动作。5.根据权利要求2所述的无人机编队协同导引方法，其特征在于，所述随机博弈模型中，优势奖励函数为：式中，表示无人机p
i
相对于目标T的优势态势奖励，Δd表示双方之间的欧氏距离，Δh表示双方之间的高度差，表示无人机p
i
相对于目标T的方位角，q表示无人机p
i
的目标入射角。6.根据权利要求1所述的无人机编队协同导引方法，其特征在于，将当前状态s、无人机采取的动作a、目标采取的动作o、对应的奖励值r以及执行动作到达的下一状态s
′
作为一个五元组{s,a,o,r,s
′
}存储到记忆库，并从记忆库中随机抽取一定大小的数据作为训练样本，计算出目标Q值来训练...

【专利技术属性】
技术研发人员：程进，邹晓滢，郝明瑞，魏东辉，
申请(专利权)人：北京机电工程研究所，
类型：发明
国别省市：