一种动态障碍物环境下无人机无风险协同航迹规划方法技术

本申请涉及无人机航迹规划和协同控制领域，公开了一种动态障碍物环境下无人机无风险协同航迹规划方法，包括如下步骤：S1、建立Q

【技术实现步骤摘要】
一种动态障碍物环境下无人机无风险协同航迹规划方法


[0001]本申请涉及无人机航迹规划和协同控制领域，具体是指一种动态障碍物环境下无人机无风险协同航迹规划方法。

技术介绍

[0002]近年来，无人机自主控制技术发展迅速，成为航空航天领域的热点研究问题。无人机具有高灵活性和高可控性等优点，被广泛的应用于多种任务场景中。在军事领域中，无人机在侦察、打击以及通信干扰等场景中得到深入的发展，大大提高了国防能力。在民用领域中，无人机的身影也广泛的出现在消防救援、航空摄影等场景中。无人机控制技术的提高有助于充分发挥无人机自身的优势特性，对于无人机技术的研究有着充分的意义。
[0003]无人机协同航迹规划是无人机自主控制领域的核心技术之一。优良的航迹规划系统是无人机完成任务的重要保障，其可以确保无人机在目标区域活动，减少无人机的各项损耗，进而完成其他任务需求。多无人机协作执行任务可以充分的提高任务完成效率，可以满足特殊任务需求。无人机协同航迹规划问题与其它学科技术的研究紧密相关，十分具备研究意义。
[0004]无人机协同航迹规划问题主要包含航迹搜索和协同控制两方面内容。传统航迹规划算法对于环境信息的依赖度高，无法满足未知环境下的任务场景，并且已有算法不同时具备全局航迹规划能力和局部航迹规划能力，缺乏环境自适应能力，可用性不强，因此应该对具有环境自适应能力的无风险无人机协同航迹规划算法进行研究。
[0005]申请内容
[0006]基于以上技术问题，本申请提供了一种动态障碍物环境下无人机无风险协同航迹规划方法，本申请解决了经典Q
‑
learning方法训练成本大、所规划航迹风险高，缺乏动态避障能力的问题。
[0007]为解决以上技术问题，本申请采用的技术方案如下：
[0008]一种动态障碍物环境下无人机无风险协同航迹规划方法，包括如下步骤：
[0009]S1、建立Q
‑
learning算法训练空间；
[0010]S2、改进Q
‑
learning算法的反馈策略，为无人机的训练过程中加入引导信息和风险意识；
[0011]S3、结合动态窗口算法为航迹规划系统增加局部航迹规划能力，获取动态环境下自适应能力；
[0012]S4、基于Reynolds蜂拥模型，设计无人机集群航迹调整规则，实现多无人机无风险协同航迹规划。
[0013]进一步的，步骤S1中的Q
‑
learning算法训练空间包括无人机的起点位置、终点坐标、静态障碍物以及地图边界。
[0014]进一步的，步骤S2的具体步骤包括：
[0015]S21、在算法训练过程中，改进环境奖励反馈，以无人机与目标点的实时距离作为
过程奖励；
[0016]S22、在无人机通过交互行为获取环境信息的过程中，将获得过惩罚值的位置点标记为风险区域；
[0017]S23、重复步骤S21～步骤S22，完成无人机的无风险航迹计算。
[0018]进一步的，步骤S3的具体步骤为：
[0019]S31、获取离散全局航迹节点；
[0020]S32、将离散航迹节点设置为区域节点，作为动态窗口算法的目标终点；
[0021]S33、在无人机的速度和角速度组成的二维空间中采样，计算时间步长内对应航迹；
[0022]S34、航迹评估，获取最优航迹；
[0023]S35、重复步骤S31～步骤S34，更新区域节点，直至无人机到达全图目标位置。
[0024]进一步的，步骤S4的具体步骤为：
[0025]S41、获取在所规划航迹上无人机的实时位置、速度与加速度；
[0026]S42、将S41步骤中获取的信息作为Reynolds蜂拥模型的虚拟领航者信息；
[0027]S43、根据斥力排斥规则，调整无人机集群个体的加速度，驱动集群与障碍物保持安全距离；
[0028]S44、重复步骤S41～步骤S43，直至集群到达全局目标位置。
[0029]与现有技术相比，本申请的有益效果是：
[0030](1)本专利技术对于Q
‑
learning算法的反馈策略进行了调整，加入了先验信息，以无人机位置与目标位置的实时距离做参考，设计奖励反馈函数。在无人机的训练过程中，加入了风险信息的获取，对于受过惩罚反馈的位置坐标标记为风险位置，从中获取二次反馈惩罚。解决了无人机训练前期的盲目探索问题，减少了算法训练量，并且航迹点与障碍物保持安全距离，保证无人机安全性。
[0031](2)本专利技术对动态窗口算法进行应用，增加航迹规划系统的局部航迹规划能力。由于Q
‑
learning算法仅具备全局航迹规划能力，并且在环境发生改变时需要付出额外训练成本适应环境变化，因此对于算法的环境自适应能力提出了一定要求。本专利技术应用动态窗口算法，可以对航迹进行局部的动态调整，保证航迹的可用性。
[0032](3)本专利技术针对航迹规划算法多应用于单无人机问题，结合Reynolds蜂拥模型设计协同规则，将单机航迹规划问题扩展至多机协同航迹规划问题，增加了算法的可用性。由于无人机集群规模的提升，随之增大的集群半径会为无人机带来较大的飞行风险，因此本专利技术设计了排斥规则调整无人机的加速度，保证集群个体与障碍物保持安全距离，降低飞行风险。
附图说明
[0033]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：
[0034]图1为动态障碍物环境下无人机无风险协同航迹规划方法的步骤流程图。
[0035]图2为经典Q
‑
learning(Standard Q
‑
learning，SQL)算法的航迹结果图。
[0036]图3为无风险Q
‑
learning(Risk
‑
free Q
‑
learning，RFQL)算法的航迹结果图。
[0037]图4为性能指标为RFQL算法仿真结果的训练次数
‑
反馈值关系图。
[0038]图5为性能指标为RFQL算法仿真结果的训练次数
‑
迭代步长关系图。
[0039]图6为动态窗口算法的航迹结果图。
[0040]图7为静态环境下动态窗口算法融合RFQL算法的航迹结果图。
[0041]图8为动态环境下动态窗口算法融合RFQL算法的航迹结果图。
[0042]图9为静态环境下自适应无风险协同(Coordinated Adaptive Risk
‑
Free Q
‑
Learning，CARFQL)算法航迹计算结果图，排斥因子β设置为0。
[0043]图10为动态环境下自适应无风险协同(Coordinated Adaptive Ris本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态障碍物环境下无人机无风险协同航迹规划方法，其特征在于，包括如下步骤：S1、建立Q
‑
learning算法训练空间；S2、改进Q
‑
learning算法的反馈策略，为无人机的训练过程中加入引导信息和风险意识；S3、结合动态窗口算法为航迹规划系统增加局部航迹规划能力，获取动态环境下自适应能力；S4、基于Reynolds蜂拥模型，设计无人机集群航迹调整规则，实现多无人机无风险协同航迹规划。2.根据权利要求1所述的一种动态障碍物环境下无人机无风险协同航迹规划方法，其特征在于：步骤S1中的Q
‑
learning算法训练空间包括无人机的起点位置、终点坐标、静态障碍物以及地图边界。3.根据权利要求1所述的一种动态障碍物环境下无人机无风险协同航迹规划方法，其特征在于，步骤S2的具体步骤包括：S21、在算法训练过程中，改进环境奖励反馈，以无人机与目标点的实时距离作为过程奖励；S22、在无人机通过交互行为获取环境信息的过...

【专利技术属性】
技术研发人员：李元凯，巴晓辉，高阳，郭子琦，谭小苏，
申请(专利权)人：成都星航时空科技有限公司，
类型：发明
国别省市：