【技术实现步骤摘要】
一种基于图神经网络强化学习的异质平台冲突消解方法
[0001]本专利技术属于飞行器
，涉及一种基于图神经网络强化学习的异质多飞行器冲突消解方法。
技术介绍
[0002]临空平台是指在航空领域空间和航天领域空间之间的部分，其高度范围在20
‑
100km之间，临空平台飞行器是指在临空平台飞行并执行相关任务的飞行器，其不同的类型可以完成侦察、环境监测、电子对抗、物资投送、军事打击等任务，对于社会民生，国家安全都有十分重要的战略价值。近年来，由于科技的进步和各国政府对临空平台的重视，临空平台飞行器的研制得到了广泛的关注。随着人工智能技术的发展，基于机器学习的飞行器自主控制方法得到了越来越多研究人员的重视。
[0003]对于飞行器的自主控制飞行，避免飞行冲突是非常重要的。在目前的空中飞行器交通管制工作中，管制员主要依靠雷达提供的航空器位置、高度和速度信息检测冲突，根据管制规则和个人经验进行调配，这往往会花费大量的人力物力。因此，亟需一种飞行器自主调配从而消解飞行冲突的方法。现有的研究工作大多是基于优化算...
【技术保护点】
【技术特征摘要】
1.一种基于图神经网络强化学习的异质平台冲突消解方法，其特征在于，包括以下步骤：步骤一、根据各异质飞行器的具体类型和特征设置相应的状态向量，动作空间向量，神经网络最大迭代次数T；步骤二、初始化各异质飞行器的起始位置、目标点位置和相关状态信息，根据状态以及环境信息建立冲突网络图结构G，建立冲突程度评价函数，设置冲突程度阈值；步骤三、建立图神经网络结构，包括状态信息编码模块、图卷积网络模块、动作选择模块；步骤四、对步骤三中建立的图神经网络结构进行训练，根据各异质飞行器的具体特征设置各自的收益函数，计算飞行器采取动作所获取的收益；应用两个结构完全相同参数不同的神经网络—PolicyNet和TargetNet，其中TargetNet用来产生稳定的目标值，PolicyNet则输出预测值，每个更新周期L用PolicyNet网络的参数来更新TargetNet网络；步骤五、使用训练后的图神经网络结构完成异质飞行器的冲突消解，对于每个飞行时刻，根据当前所有异质飞行器的飞行状态和环境信息更新冲突网络图结构G，根据冲突程度评价函数评估冲突网络，如果冲突程度C大于等于阈值，则将该冲突网络输入训练后的图神经网络结构，提取各异质飞行器的状态信息，经过状态信息编码模块、图卷积网络模块、动作选择模块输出各异质飞行器的动作决策A；如果冲突程度C小于阈值，各异质飞行器保持当前飞行动作；步骤六、各异质飞行器反复执行步骤五，并根据步骤五中得到的动作决策A执行相应的飞行操作，直到各异质飞行器到达各自目标点。2.根据权利要求1所述的基于图神经网络强化学习的异质平台冲突消解方法，其特征在于，所述步骤二中，所述冲突网络图结构G包含表示不同种类飞行器的节点V和飞行器之间的冲突连边E，其中各异质飞行器的位置作为冲突网络图结构G的点序列，冲突连边E通过速度障碍模型判断两个飞行器之间是否存在潜在冲突，如果存在潜在冲突，则两个飞行器之间存在连边，否则，两个飞行器之间没有连边。3.根据权利要求1所述的基...
【专利技术属性】
技术研发人员：李宇萌，张云赫，郭通，杜文博，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。