本申请提出的多无人机协同航迹规划方法、装置及存储介质中，包括获取多无人机协同飞行环境中的环境信息和无人机飞行的任务参数；基于环境信息和无人机飞行的任务参数，利用通过训练Q学习算法得到的目标Q表信息，确定无人机各状态下的最佳飞行动作；基于无人机各状态下的最佳飞行动作，确定无人机最优航迹路径。由此，本申请在训练Q学习算法的过程中，具体通过基于行人运动学模型构建的奖励函数，对Q学习算法进行训练，使得在规避无人机之间发生相互碰撞事故的情况下，同时考虑了多无人机航迹总长度，从而使得多无人机在最优航迹路径上飞行，进而提高了多无人机航迹规划质量。进而提高了多无人机航迹规划质量。进而提高了多无人机航迹规划质量。
【技术实现步骤摘要】
一种多无人机协同航迹规划方法、装置及存储介质
[0001]本申请涉及无人机航迹规划
，尤其涉及一种多无人机协同航迹规划方法、装置及存储介质。
技术介绍
[0002]随着无人机技术的不断进步，无人机被应用于越来越多更加复杂的未知环境，基于此需要多无人机进行配合飞行，共同完成目标任务。其中，在对多无人机航迹进行规划时，需要考虑多无人机之间的位置关系，以避免无人机之间发生相互碰撞。
[0003]相关技术中，在对多无人机协同航迹规划时，将除自身之外的无人机均视为运动障碍进而防止相互碰撞。其中，该方法是在原有单无人机运动避障策略上的简单拓展，能够规避无人机之间发生相互碰撞事故，但是该方法没有考虑多无人机航迹总长度，降低了多无人机航迹规划质量。
技术实现思路
[0004]本申请提供一种多无人机协同航迹规划方法，以解决上述相关技术中出现的技术问题。
[0005]本申请第一方面实施例提出一种多无人机协同航迹规划方法，所述方法包括：
[0006]获取多无人机协同飞行环境中的环境信息和无人机飞行的任务参数；
[0007]基于所述环境信息和所述无人机飞行的任务参数，利用通过训练Q学习算法得到的目标Q表信息，确定所述无人机各状态下的最佳飞行动作；
[0008]基于所述无人机各状态下的最佳飞行动作，确定所述无人机最优航迹路径。
[0009]可选的，所述环境信息包括障碍信息、威胁信息、其他无人机的位置信息及运动方向。
[0010]可选的，所述基于所述环境信息和所述无人机飞行的任务参数，利用通过训练Q学习算法得到的Q表信息，得到所述无人机各状态下的最佳飞行动作之前，包括：
[0011]获取用于训练的多无人机协同飞行环境中的训练环境信息，通过栅格建模法对所述训练环境信息进行环境建模，得到环境模型；
[0012]基于所述环境模型和行人运动学模型，构建用于多无人机协同航迹规划的马尔科夫决策过程模型；
[0013]基于所述马尔科夫决策过程模型和无人机飞行的训练任务参数，对Q学习算法进行训练，得到目标Q表信息。
[0014]可选的，所述基于所述训练环境模型和行人运动学模型，构建用于多无人机协同航迹规划的马尔科夫决策过程模型，包括：
[0015]基于所述训练环境模型，构建所述无人机飞行动作空间表示；
[0016]基于行人运动学模型，构建用于多无人机协同航迹规划的奖励函数。
[0017]可选的，所述奖励函数，包括：
[0018]R(s,a)＝R
destination
+R
obstale
+R
other_uavs
+R
extra
；
[0019]其中，s为当前状态，为所述无人机在s状态执行动作a的奖励，R
destination
表示对当前飞行方向的评估函数，R
obstale
表示障碍奖励函数，R
other_uavs
表示对其他无人机的评估函数，R
extra
表示额外的激励和惩罚函数。
[0020]可选的，所述基于所述马尔科夫决策过程模型和无人机飞行的训练任务参数，对Q学习算法进行训练，得到目标Q表信息，包括：
[0021]获取无人机飞行的训练任务参数，其中，所述训练任务参数包括训练目标点和训练起点；
[0022]确定所述训练目标点和训练起点分别对应的终点状态和初始状态；
[0023]设置初始Q表，其中，所述初始Q表中，每个状态动作对应的Q值初始化为零；
[0024]确定所述当前状态S
current
是否满足训练结束条件；
[0025]若确定所述S
current
不满足训练结束条件，则探索策略生成动作a，所述无人机通过执行动作a进入下一个状态S
next
，更新初始Q表中的S
current
执行动作a的Q值，并将所述S
current
替换所述S
next
；
[0026]若确定所述S
current
满足训练结束条件，则更新初始Q表中所述S
current
对应的Q值，并结束此次轨迹训练；
[0027]重复上述操作，直至所述初始Q表中所有状态动作的Q值都更新完成，得到目标Q表信息。
[0028]可选的，所述训练结束条件包括以下任意一种：
[0029]所述无人机到达训练目标点；
[0030]所述无人机与障碍物或者其他无人机碰撞；
[0031]当前训练步骤数超过最大阈值。
[0032]可选的，所述基于所述环境信息和所述无人机飞行的任务参数，利用通过训练Q学习算法得到的目标Q表信息，确定所述无人机各状态下的最佳飞行动作，包括：
[0033]获取无人机飞行的任务参数，其中，所述任务参数包括目标点和起点；
[0034]基于所述任务参数和其他无人机的位置信息及运动方向，通过所述目标Q表信息，得到所述无人机各状态对应可执行动作在所述其他无人机的位置信息下的Q值；
[0035]将所述无人机各状态对应可执行动作中的最大Q值，确定为所述无人机各状态下的最佳飞行动作。
[0036]本申请第二方面实施例提出一种多无人机协同航迹规划装置，所述装置包括：
[0037]获取模块，用于获取多无人机协同飞行环境中的环境信息和无人机飞行的任务参数；
[0038]第一确定模块，用于基于所述环境信息和所述无人机飞行的任务参数，利用通过训练Q学习算法得到的目标Q表信息，确定所述无人机各状态下的最佳飞行动作；
[0039]第二确定模块，用于基于所述无人机各状态下的最佳飞行动作，确定所述无人机最优航迹路径。
[0040]本申请的实施例提供的技术方案至少带来以下有益效果：
[0041]本申请提出的多无人机协同航迹规划方法、装置及存储介质中，包括获取多无人机协同飞行环境中的环境信息和无人机飞行的任务参数；基于环境信息和无人机飞行的任
务参数，利用通过训练Q学习算法得到的目标Q表信息，确定无人机各状态下的最佳飞行动作；基于无人机各状态下的最佳飞行动作，确定无人机最优航迹路径。由此，本申请在训练Q学习算法的过程中，具体可以通过基于行人运动学模型构建的奖励函数，对Q学习算法进行训练，使得在规避无人机之间发生相互碰撞事故的情况下，同时考虑了多无人机航迹总长度，从而使得多无人机在最优航迹路径上飞行，进而提高了多无人机航迹规划质量。
[0042]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0043]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0044]图1为根据本申请一个实施例提供的多无人机协同航迹本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多无人机协同航迹规划方法，其特征在于，所述方法包括：获取多无人机协同飞行环境中的环境信息和无人机飞行的任务参数；基于所述环境信息和所述无人机飞行的任务参数，利用通过训练Q学习算法得到的目标Q表信息，确定所述无人机各状态下的最佳飞行动作；基于所述无人机各状态下的最佳飞行动作，确定所述无人机最优航迹路径。2.根据权利要求1所述的方法，其特征在于，所述环境信息包括障碍信息、威胁信息、其他无人机的位置信息及运动方向。3.根据权利要求1所述的方法，其特征在于，所述基于所述环境信息和所述无人机飞行的任务参数，利用通过训练Q学习算法得到的Q表信息，得到所述无人机各状态下的最佳飞行动作之前，包括：获取用于训练的多无人机协同飞行环境中的训练环境信息，通过栅格建模法对所述训练环境信息进行环境建模，得到环境模型；基于所述环境模型和行人运动学模型，构建用于多无人机协同航迹规划的马尔科夫决策过程模型；基于所述马尔科夫决策过程模型和无人机飞行的训练任务参数，对Q学习算法进行训练，得到目标Q表信息。4.根据权利要求3所述的方法，其特征在于，所述基于所述训练环境模型和行人运动学模型，构建用于多无人机协同航迹规划的马尔科夫决策过程模型，包括：基于所述训练环境模型，构建所述无人机飞行动作空间表示；基于行人运动学模型，构建用于多无人机协同航迹规划的奖励函数。5.根据权利要求4所述的方法，其特征在于，所述奖励函数，包括：R(s,a)＝R
destination
+R
obstale
+R
other_uavs
+R
extra
；其中，s为当前状态，R(s,a)为所述无人机在s状态执行动作a的奖励，R
destination
表示对当前飞行方向的评估函数，R
obstale
表示障碍奖励函数，R
other_uavs
表示对其他无人机的评估函数，R
extra
表示额外的激励和惩罚函数。6.根据权利要求1所述的方法，其特征在于，所述基于所述马尔科夫决策过程模型和无人机飞行的训练任务参数，对Q学习算法进行训练，得到目标Q表信息，包括：获取无人机飞行的训练任务参数，其中，所述训练任务参数包括训练目标点和训练起点；确定...
【专利技术属性】
技术研发人员：杨沛豪，柴琦，兀鹏越，赵俊博，陈予伦，寇水潮，王小辉，高峰，孙梦瑶，郭新宇，薛磊，张立松，贺婷，燕云飞，李志鹏，郭昊，王劼文，高欢欢，殷悦，代本谦，李菁华，
申请(专利权)人：西安热工研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。