基于深度强化学习的多无人机扫描线搜索避障系统及方法技术方案

本发明专利技术公开了一种基于深度强化学习的多无人机扫描线搜索避障系统及方法，属于无人机领域。该方法包括以下步骤：搜索区域分割步骤：针对多边形待搜索区域，进行网格区域分割，确定所述待搜索区域的多条边界及多个分割区域；扫描线确定步骤：针对多个所述分割区域，计算多条扫描线的位置和数量；航迹确定步骤：基于深度确定性策略梯度模型进行曲线路径规划，规避障碍物，确定最终航迹。本发明专利技术技术方案减少了区域预处理阶段给无人机带来的计算压力和时间成本，并最大化搜索区域覆盖率和搜索成功率，同时借鉴矢量导航的控制要求，设计了智能体的行为库与对应的行为奖励引导机制，实现了连续动作的机动决策，提高了深度强化学习算法输出的可靠性。输出的可靠性。输出的可靠性。

【技术实现步骤摘要】
基于深度强化学习的多无人机扫描线搜索避障系统及方法


[0001]本涉及无人机领域，具体涉及一种基于深度强化学习的多无人机扫描线搜索避障系统及方法。

技术介绍

[0002]多无人机协同搜索任务规划中，为了保证搜索成功率，通常采用区域全覆盖的资源分配方式。同时，针对搜索区域边界的凹凸性不同，制定合理的边界处理和区域分割原则，可以有效降低无人机的航程损耗。目前，一种区域处理原则从外部入手，先进行区域补全后再进行区域分割，即对凹形区域进行凸化处理，对补全后的搜索区域进行分割，这种处理方式使得原本的复杂边界更加规整。另一种区域处理原则省去了补全过程，直接从搜索区域内部出发，将凹形区域分割成若干个凸多边形，保证区域覆盖率的同时，降低了无效区域的搜索面积。现有技术1研究了无人机区域分割方法，利用格雷厄姆法凸化任意多边形区域，据此提出单侧区域分割算法，对得到的凸形区域进行等面积分割并根据无人机传感器的探测范围计算扫描线，这种分割方法的确定性强，可以有效根据无人机数量进行区域处理，得到理想航迹。现有技术2提出针对搜索任务的航迹规划问题，首先利用传感器探测范围计算搜索区域内的所有站点，在此基础上，更新传统delaunary三角分割算法中逐点插入法的站点处理原则，计算分割三角形，该方法有效的实现了对任意多边形区域的分割处理，避免了无效搜索区域的出现。现有技术3利用分割线将搜索区域分割成若干子区域，同时满足每个子区间的面积等于无人机最大搜索面积，该方法成功实现了搜索区间的等面积划分。
[0003]搜索资源分配是多无人机协同搜索任务的前提，搜索问题的另一个研究重点是如何根据第一阶段的资源分配和直线航迹规划结果进行航迹的曲线规划。即当上述直线航迹上存在威胁单位时，无人机如何进行机动决策以规避障碍物。现有技术4引入方向调整力对传统人工势场法进行了改进，创新性地提出了IAPF算法，该算法采用目标吸引力、障碍物排斥力和方向调整力地合力引导无人机飞行，有效避免了传统人工势场法在面临障碍物排斥力与目标吸引力相互平衡时的无人机机动决策窘境。现有技术5通过信息素路由更新策略，设置诱导制导，改善了蚂蚁系统在局部搜索中的性能，防止了算法陷入局部最优和停滞。现有技术6设计了四种操作算子并通过引入自适应学习机制，使得算法在搜索过程中能够自主智能的选择操作算子以实现规避障碍的同时，合理有效的规划出无人机飞行轨迹。
[0004]综上，当前现有技术存在以下各方面问题：
[0005](1)面对不规则搜索区域，以往采用区域补全对目标区域进行预处理的策略使得无人机搜索区域变大，提高搜索覆盖率的同时，增加了飞行损耗，降低了任务执行效率。
[0006](2)在搜索资源分配过程中，根据无人机架次对目标区域进行等面积划分，这种分割方法具有很强的确定性，但并未考虑无人机的飞行方向和油量损耗，在实际的搜索任务中，无人机飞来方向的第一个搜索子区域与后续若干个子区域的位置分布不同，各无人机飞往目标子区域的过程中，存在性能损耗，笼统的等面积划分方法，无法满足实际需求，尤
其针对大面积区域的搜索任务，这一弊端将直接影响无人机执行搜索任务的覆盖率和成功率。
[0007](3)动态障碍规避策略的研究不足，当环境中存在多个动态扰动时，无人机如何实时地进行机动决策，提高任务执行效率地同时，保证无人机的飞行安全。

技术实现思路

[0008]为了解决以上问题，本申请技术方案提出了一种基于深度强化学习的多无人机扫描线搜索避障系统及方法，减少了区域预处理阶段给无人机带来的计算压力和时间成本，并最大化搜索区域覆盖率和搜索成功率，同时借鉴矢量导航的控制要求，设计了智能体的行为库与对应的行为奖励引导机制，实现了连续动作的机动决策，提高了深度强化学习算法输出的可靠性。
[0009]根据本申请技术方案第一方面，提供一种基于深度强化学习的多无人机扫描线搜索避障方法，包括以下步骤：
[0010]S1，搜索区域分割步骤：针对多边形待搜索区域，进行网格区域分割，确定所述待搜索区域的多条边界及多个分割区域；
[0011]S2，扫描线确定步骤：针对多个所述分割区域，计算多条扫描线的位置和数量；
[0012]S3，航迹确定步骤：基于深度确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)模型进行曲线路径规划，规避障碍物，确定最终航迹。
[0013]进一步地，所述S1具体包括：
[0014]S11：计算无人机最大扫描面积A
max
，并求取分割三角形的顶点，记为V
in
；
[0015]S12：连接V
in
与某一顶点V(num)，计算V(num
‑
1),V
in
,V(num)为顶点的三角形分割区域的面积S1，若S1大于A
max
，则取边界(V(num
‑
1),V(num))的中点(num
‑
1)_1作为子分割点，(num
‑
1)_1＝num，转至S13；若S1不大于A
max
，则将顶点V(num)作为分割点，num＝num+1，转至S12；
[0016]S13:计算分割三角形(V(num
‑
1),V
in
,V(num))的面积S2，若S1大于A
max
，则转至S12，继续取边界(V(num
‑
1),V(num))的中点(num
‑
1)_1作为子分割点，(num
‑
1)_1＝num，转至S13；若S1不大于A
max
，则确定(num
‑
1)_1为分割点，num＝num+1，转至步骤5；以此类推，直至确定所述待搜索区域的多条边界及多个三角形分割区域。
[0017]进一步地，所述S11具体包括：
[0018]S111：计算多边形搜索区域面积A
overall
，根据无人机性能约束并结合传感器探测范围计算无人机最大扫描面积A
max
；
[0019]S112：取无人机飞行方向的第一条区域边界作为分割任务的起始边界l(1)，取直线l(1)顺时针第一个端点记为V(1)，第二个端点记为V(2)；在区域内找出一条直线ls(1)，使得直线上任意一点与l(1)两端相连后组成的分割三角形面积等于A
max
/N，其中N表示无人机作战任务预留量；
[0020]S113:取l(1)顺时针方向的下一条区域边界作为下一轮分割任务的起始边界l(2)，在区域内找出一条直线ls(2)，使得直线上任意一点与l(2)两端相连后组成的分割三角形面积等于A
max
/N；
[0021]S114:取直线ls(1)与直线ls(2)的交点作为分割三角形的顶点，记为V
in
。
[0022]进一步地，所述S112本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的多无人机扫描线搜索避障方法，其特征在于，包括以下步骤：S1，搜索区域分割步骤：针对多边形待搜索区域，进行网格区域分割，确定所述待搜索区域的多条边界及多个分割区域；S2，扫描线确定步骤：针对多个所述分割区域，计算多条扫描线的位置和数量；S3，航迹确定步骤：基于深度确定性策略梯度模型进行曲线路径规划，规避障碍物，确定最终航迹。2.根据权利要求1所述的多无人机扫描线搜索避障方法，其特征在于，所述S1具体包括：S11：计算无人机最大扫描面积A
max
，并求取分割三角形的顶点，记为V
in
；S12：连接V
in
与某一顶点V(num)，计算V(num
‑
1)，V
in
，V(num)为顶点的三角形分割区域的面积S1，若Sl大于A
max
，则取边界(V(num
‑
1)，V(num))的中点(num
‑
1)_1作为子分割点，(num
‑
1)_1＝num，转至S13；若S1不大于A
max
，则将顶点V(num)作为分割点，num＝num+1，转至S12；S13：计算分割三角形(V(num
‑
1)，V
in
，V(num))的面积S2，若S1大于A
max
，则转至S12，继续取边界(V(num
‑
1)，V(num))的中点(num
‑
1)_1作为子分割点，(num
‑
1)_1＝num，转至S13；若S1不大于A
max
，则确定(num
‑
1)_1为分割点，num＝num+1，转至步骤5；以此类推，直至确定所述待搜索区域的多条边界及多个三角形分割区域。3.根据权利要求2所述的多无人机扫描线搜索避障方法，其特征在于，所述S11具体包括：S111：计算多边形搜索区域面积A
overall
，根据无人机性能约束并结合传感器探测范围计算无人机最大扫描面积A
max
；S112：取无人机飞行方向的第一条区域边界作为分割任务的起始边界l(1)，取直线l(1)顺时针第一个端点记为V(1)，第二个端点记为V(2)；在区域内找出一条直线ls(1)，使得直线上任意一点与l(1)两端相连后组成的分割三角形面积等于A
max
/N，其中N表示无人机作战任务预留量；S113：取l(1)顺时针方向的下一条区域边界作为下一轮分割任务的起始边界l(2)，在区域内找出一条直线ls(2)，使得直线上任意一点与l(2)两端相连后组成的分割三角形面积等于A
max
/N；S114：取直线ls(1)与直线ls(2)的交点作为分割三角形的顶点，记为V
in
。4.根据权利要求1所述的多无人机扫描线搜索避障方法，其特征在于，所述S2具体包括：S21：对于V
in
_V(1)_V(2)三角形分割区域，设该区域内无人机j的飞行高度为其对应的传感器探测半径为初始化边界参数M＝1；S22：以直线V
in
_V(M)所在边界作为该区域的起始边界并计算其斜率，过顶点V(M+1)求一条直线V(M+1)_V
′
(M+1)，使得该条直线和V
in
_V(M)的斜率相等；计算两条直线V
in
_V(M)和V(M+1)_V
′
(M+1)之间的距离D
M
，并通过如下公式计算扫描线数量Line_num，计算过程有余数则向上取整：
S23：以边界V
in
_V(M+1)所在方向作为无人机j的搜索速度方向，以作为扫描线的航迹长度在V
in
_V(M)垂线方向上的分量，计算航迹点path_p(1)，取V
in
_V(M)所在边界作为基准线，过path_p(1)航迹点作基准线的平行线并相交V(M)_V(M+1)于航迹点path_p(2)，连接path_p(1)和path_p(2)得到第一条扫描线位置分布；S24：以边界V(M)_V(M+1)所在方向作为无人机j的搜索速度方向，以无人机传感器的探测直径作为扫描线的航迹长度在V
in
_V(M+1)垂线方向上的分量，计算航迹点path_p(3)，取V
in
_V(M)所在边界作为基准线，过path_p(3)航点作基准线的平行线并相交V
in
_V(M+1)于航迹点path_p(4)，连接path_p(3)和path_p(4)得到第二条扫描线位置分布。S25：转至S23，以此类推，直...

【专利技术属性】
技术研发人员：胡多修，汪善武，常天星，张冰川，孙歌苹，
申请(专利权)人：航天时代飞鹏有限公司，
类型：发明
国别省市：