本发明专利技术属于模拟飞行指挥训练技术领域，提供一种基于强化学习的空域训练飞行路径自动规划方法和装置。该方法包括：收集已有飞行计划数据，并从所述已有飞行数据中提取与飞行路径规划相关的数据；建立空域飞行训练场景模型；采用Q‑Learning强化学习算法建立飞行路径自动规划模型，具体包括在训练所述飞行路径自动规划模型的同时更新飞行目标决策表；接收客户端发送的当前飞行计划数据，并从当前飞行计划数据中提取与飞路径规划相关的飞行起点位置、飞行终点位置、目标空域、禁飞空域，作为模型输入，以输出与当前飞行计划数据相匹配的飞行路径。本发明专利技术能精确生成最佳训练飞行路径，并能灵活地、实时地调整训练飞行路径。
【技术实现步骤摘要】
本专利技术涉及模拟飞行训练，尤其涉及一种基于强化学习的空域训练飞行路径自动规划方法和装置。
技术介绍
1、在空域训练飞行中，为了确保飞行安全和任务的顺利完成，合理的飞行路径规划至关重要。目前，模拟飞行指挥训练系统使用的传统的路径规划方法通常基于教员根据目标空域位置进行手动设定路径，在地图上点选多个顶点形成一条航线路径，该航线路径会经过目标空域，并避开禁飞空域，使得飞行目标沿该航线到达目的地。
2、但是，在现有路径规划方法中，通常通过手动方式进行路径规划，因此，存以下问题：教员根据人工主观经验设定的飞行路径通常有很大的优化空间；当目标空域或者禁飞空域的位置发生变化时，需要教员手动调整或者重新规划路径。综上，现有路径规划方法在面对复杂的空域环境或者当空域位置信息发生变化时，不能灵活地、实时地且更智能化进行调整，并且不能达到更好的效果。制定飞行路径的过程耗费人力，耗时长，无法满足愈加复杂的模拟空域飞行训练场景的需求。
3、因此，有必要提供一种基于强化学习的空域训练飞行路径自动规划方法，以解决上述问题。
技术实现思路
1、本专利技术意在提供一种基于强化学习的空域训练飞行路径自动规划方法和装置，以解决现有技术中在面对复杂的空域环境或者当空域位置信息发生变化时，不能灵活地、实时地且更智能化进行调整，不能达到更好的效果，制定飞行路径的过程耗费人力，耗时长，甚至无法满足愈加复杂的模拟空域飞行训练场景等的技术问题，本专利技术要解决的技术问题通过以下技术方案来实现。
>2、本专利技术第一方面提出一种基于强化学习的空域训练飞行路径自动规划方法，包括：收集已有飞行计划数据，并从所述已有飞行数据中提取与飞行路径规划相关的数据；使用所提取的与飞行路径规划相关的数据，建立空域飞行训练场景模型，具体包括基于飞行起点位置、飞行终点位置、目标空域和禁飞区域建立飞行区域场景环境，并形成场景矩阵；基于所述空域飞行训练场景模型，采用q-learning强化学习算法建立飞行路径自动规划模型，具体包括在训练所述飞行路径自动规划模型的同时更新飞行目标决策表；接收客户端发送的当前飞行计划数据，并从当前飞行计划数据中提取与飞路径规划相关的飞行起点位置、飞行终点位置、目标空域、禁飞空域，作为模型输入，以输出与当前飞行计划数据相匹配的飞行路径3、本专利技术第二方面提供一种空域训练飞行路径自动规划装置，用于执行本专利技术第一方面所述的基于强化学习的空域训练飞行路径自动规划方法，包括：数据收集处理模块，收集已有飞行计划数据，并从所述已有飞行数据中提取与飞行路径规划相关的数据；第一建立模块，使用所提取的与飞行路径规划相关的数据，建立空域飞行训练场景模型，具体包括基于飞行起点位置、飞行终点位置、目标空域和禁飞区域建立飞行区域场景环境，并形成场景矩阵；第二建立模块，基于所述空域飞行训练场景模型，采用q-learning强化学习算法建立飞行路径自动规划模型，具体包括在训练所述飞行路径自动规划模型的同时更新飞行目标决策表；接收处理模块，接收客户端发送的当前飞行计划数据，并从当前飞行计划数据中提取与飞路径规划相关的飞行起点位置、飞行终点位置、目标空域、禁飞空域，作为模型输入，以输出与当前飞行计划数据相匹配的飞行路径。
4、本专利技术第三方面提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术第一方面所述的方法。
5、本专利技术第四方面提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术第一方面所述的方法。
6、本专利技术的有益效果：
7、与现有技术相比，本专利技术通过建立空域飞行训练场景模型，并采用q-learning强化学习算法建立飞行路径自动规划模型，在训练所述飞行路径自动规划模型的同时更新飞行目标决策表，接收客户端发送的当前飞行计划数据，以输出与当前飞行计划数据相匹配的飞行路径，能够在面对复杂的空域飞行区域场景或者空域的位置信息发生变化时，灵活地、实时地调整训练飞行路径；能够在训练所述飞行路径自动规划模型的同时更新飞行目标决策表，为生成最佳训练飞行路径提供更精确的数据依据。
8、此外，分别采用飞行空域分数梯度策略、分数蔓延法以及预设飞行轨迹的方法，能够在优化飞行空域评估函数的同时，加快飞行目标决策表在训练过程中的收敛速度。
本文档来自技高网...
【技术保护点】
1.一种基于强化学习的空域训练飞行路径自动规划方法，其特征在于，包括：
2.根据权利要求1所述的基于强化学习的空域训练飞行路径自动规划方法，进一步包括：
3.根据权利要求1所述的基于强化学习的空域训练飞行路径自动规划方法，其特征在于，所述建立空域飞行训练场景模型，包括：
4.根据权利要求3所述的基于强化学习的空域训练飞行路径自动规划方法，其特征在于，进一步包括：
5.根据权利要求4所述的基于强化学习的空域训练飞行路径自动规划方法，其特征在于，
6.根据权利要求5所述的基于强化学习的空域训练飞行路径自动规划方法，其特征在于，进一步包括：
7.根据权利要求6所述的基于强化学习的空域训练飞行路径自动规划方法，其特征在于，
8.根据权利要求1所述的基于强化学习的空域训练飞行路径自动规划方法，其特征在于，
9.根据权利要求8所述的基于强化学习的空域训练飞行路径自动规划方法，其特征在于，
10.一种空域训练飞行路径自动规划装置，用于执行权利要求1所述的基于强化学习的空域训练飞行路径自动规划方法，其特征在于，包括：
...
【技术特征摘要】
1.一种基于强化学习的空域训练飞行路径自动规划方法，其特征在于，包括：
2.根据权利要求1所述的基于强化学习的空域训练飞行路径自动规划方法，进一步包括：
3.根据权利要求1所述的基于强化学习的空域训练飞行路径自动规划方法，其特征在于，所述建立空域飞行训练场景模型，包括：
4.根据权利要求3所述的基于强化学习的空域训练飞行路径自动规划方法，其特征在于，进一步包括：
5.根据权利要求4所述的基于强化学习的空域训练飞行路径自动规划方法，其特征在于，
6....
【专利技术属性】
技术研发人员：郝思宁，王家隆，李颖超，卢爽，杨明涛，
申请(专利权)人：中国电子科技集团公司第十五研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。