基于态势信息的对抗环境下多无人艇区域巡逻方法及系统技术方案

本发明专利技术公开了一种基于态势信息的对抗环境下多无人艇区域巡逻方法及系统。该方法包括：根据信息集构建战场的全局态势信息；利用当前船只自身的传感器探测信息构建局部海图；根据当前船只周围的船只运动轨迹以及当前船只的运动轨迹，对所有船只的未来运动轨迹进行预测，得到轨迹预测信息；将所述轨迹预测信息与所述局部海图结合形成局部态势信息；基于所述全局态势信息、所述局部态势信息以及船只运动属性向量确定特征向量；通过所述特征向量和奖励函数对MADDPG算法进行训练；通过训练好的Actor网络确定动作指令；根据所述动作指令进行多无人艇的区域巡逻任务。本发明专利技术能够在复杂的对抗环境中做出有效决策，能完成区域协同巡逻的任务需求。逻的任务需求。逻的任务需求。

【技术实现步骤摘要】
基于态势信息的对抗环境下多无人艇区域巡逻方法及系统


[0001]本专利技术涉及无人艇巡逻
，特别涉及一种基于态势信息的对抗环境下多无人艇区域巡逻方法及系统。

技术介绍

[0002]水面无人艇(Unmanned Surface Vehicle，USV)，作为一种水面任务平台，相较于传统的大型船只，具有体型小、隐蔽性强、成本低廉等优势。在复杂的对抗环境中，研究使用无人艇集群以替代有人船只在危险海域执行巡逻任务，具有不可忽视的重大战略价值。
[0003]巡逻指的是在环境中以安全为目的的持续移动过程，在对抗环境下，利用无人艇在我方的母艇的周围执行巡逻任务，任务的目标就是尽可能早的检测出入侵我方巡逻任务区域的其他船只，以避免敌方船只进入我方母艇的安全距离。实际任务中，我方的巡逻船只还需要对被发现的非友方船只进行拍照等技术手段，从而进行船只属性的鉴别，以区分出敌方船只以及渔船等中立阵营的船只，这就要求我们保证被发现的其他船只保持在我方探测距离内一段时间。此外，由于巡逻的场景较大，单艘巡逻船只的探测范围有限，如何使多无人艇之间能达成合作，在任务区域内完成协同巡逻，也是一个难点。
[0004]对于巡逻任务的研究早已有之，但早期的算法一是大多局限于单个智能体，在出现多艇协同的任务需求时，很难适用；二是大量基于规则的算法追求对区域内每处的回访时间最小，很容易被敌方船只利用，找到巡逻规则的漏洞，从而顺利入侵到我方母艇的安全距离，对我方母艇的安全造成威胁。

技术实现思路

[0005]本专利技术的目的是提供一种基于态势信息的对抗环境下多无人艇区域巡逻方法及系统，用以在复杂的对抗环境中做出有效决策，能完成区域协同巡逻的任务需求。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种基于态势信息的对抗环境下多无人艇区域巡逻方法，包括：
[0008]根据信息集构建战场的全局态势信息；所述信息集包括：巡逻任务信息、海图信息、己方船只位置信息以及已发现的敌方船只位置信息；
[0009]利用当前船只自身的传感器探测信息构建局部海图；
[0010]根据当前船只周围的船只运动轨迹以及当前船只的运动轨迹，对所有船只的未来运动轨迹进行预测，得到轨迹预测信息；
[0011]将所述轨迹预测信息与所述局部海图结合形成局部态势信息；
[0012]基于所述全局态势信息、所述局部态势信息以及船只运动属性向量确定特征向量；
[0013]通过所述特征向量和奖励函数对MADDPG算法进行训练；所述MADDPG算法包括Actor网络和Critic网络；
[0014]通过训练好的Actor网络确定动作指令；根据所述动作指令进行多无人艇的区域
巡逻任务。
[0015]可选地，根据当前船只周围的船只运动轨迹以及当前船只的运动轨迹，对所有船只的未来运动轨迹进行预测，具体包括：
[0016]根据CTRA模型对于船只进行运动学建模，确定船只当前时刻的状态变量；
[0017]计算各所述当前时刻的状态变量的变化率；
[0018]根据所述变化率确定下一时刻的状态变量；
[0019]根据所述下一时刻的状态变量确定所有船只的未来运动轨迹。
[0020]可选地，基于所述全局态势信息、所述局部态势信息以及船只运动属性向量确定特征向量，具体包括：
[0021]将所述全局态势信息和所述局部态势信息输入至训练好的CNN网络中，得到初始特征向量；
[0022]将所述初始特征向量与船只运动属性向量进行拼接，得到特征向量。
[0023]可选地，通过所述特征向量和奖励函数对MADDPG算法进行训练，具体包括：
[0024]将所述特征向量输入至所述Actor网络，得到下一时刻的动作指令；
[0025]根据下一时刻的动作指令进行巡逻，并通过所述奖励函数和所述Critic网络对下一时刻的动作指令进行评价；
[0026]根据评价结果对所述Actor网络进行参数调整。
[0027]可选地，所述奖励函数R表达式如下：
[0028]R＝r
unknown
+r
catch
+r
escape
+r
intrusion
+r
collision
[0029]其中，r
unknown
为巡逻区域全局未知度奖励，r
catch
为敌方船只捕捉奖励，r
escape
为敌方船只逃逸奖励，r
intrusion
为敌方船只入侵奖励，r
collision
为碰撞奖励。
[0030]可选地，所述巡逻区域全局未知度奖励r
unknown
的表达式如下：
[0031]r
unknown
＝r0×
K
unknown
[0032][0033]其中，r0表示可调节的参数，K
unknown
表示全局态势信息的未知度，n
unknown
表示全局态势信息的未知度数值，N
omniscient
表示全局态势信息的全局数据。
[0034]可选地，敌方船只捕捉奖励r
catch
的表达式如下：
[0035][0036]其中，r
catchdist
表示敌方船只被标定时的位置离我方母艇的距离，r
globol
表示巡逻区域的半径，r1表示可调节的参数。
[0037]本专利技术还提供了一种基于态势信息的对抗环境下多无人艇区域巡逻系统，包括：
[0038]全局态势信息构建模块，用于根据信息集构建战场的全局态势信息；所述信息集包括：巡逻任务信息、海图信息、己方船只位置信息以及已发现的敌方船只位置信息；
[0039]局部海图构建模块，用于利用当前船只自身的传感器探测信息构建局部海图；
[0040]轨迹预测模块，用于根据当前船只周围的船只运动轨迹以及当前船只的运动轨迹，对所有船只的未来运动轨迹进行预测，得到轨迹预测信息；
[0041]局部态势信息确定模块，用于将所述轨迹预测信息与所述局部海图结合形成局部
态势信息；
[0042]特征向量确定模块，用于基于所述全局态势信息、所述局部态势信息以及船只运动属性向量确定特征向量；
[0043]训练模块，用于通过所述特征向量和奖励函数对MADDPG算法进行训练；所述MADDPG算法包括Actor网络和Critic网络；
[0044]动作指令确定模块，用于通过训练好的Actor网络确定动作指令；根据所述动作指令进行多无人艇的区域巡逻任务。
[0045]可选地，所述特征向量确定模块具体包括：
[0046]初始特征向量确定单元，用于将所述全局态势信息和所述局部态势信息输入至训练好的CNN网络中，得到初始特征向量；...

【技术保护点】

【技术特征摘要】
1.一种基于态势信息的对抗环境下多无人艇区域巡逻方法，其特征在于，包括：根据信息集构建战场的全局态势信息；所述信息集包括：巡逻任务信息、海图信息、己方船只位置信息以及已发现的敌方船只位置信息；利用当前船只自身的传感器探测信息构建局部海图；根据当前船只周围的船只运动轨迹以及当前船只的运动轨迹，对所有船只的未来运动轨迹进行预测，得到轨迹预测信息；将所述轨迹预测信息与所述局部海图结合形成局部态势信息；基于所述全局态势信息、所述局部态势信息以及船只运动属性向量确定特征向量；通过所述特征向量和奖励函数对MADDPG算法进行训练；所述MADDPG算法包括Actor网络和Critic网络；通过训练好的Actor网络确定动作指令；根据所述动作指令进行多无人艇的区域巡逻任务。2.根据权利要求1所述的基于态势信息的对抗环境下多无人艇区域巡逻方法，其特征在于，根据当前船只周围的船只运动轨迹以及当前船只的运动轨迹，对所有船只的未来运动轨迹进行预测，具体包括：根据CTRA模型对于船只进行运动学建模，确定船只当前时刻的状态变量；计算各所述当前时刻的状态变量的变化率；根据所述变化率确定下一时刻的状态变量；根据所述下一时刻的状态变量确定所有船只的未来运动轨迹。3.根据权利要求1所述的基于态势信息的对抗环境下多无人艇区域巡逻方法，其特征在于，基于所述全局态势信息、所述局部态势信息以及船只运动属性向量确定特征向量，具体包括：将所述全局态势信息和所述局部态势信息输入至训练好的CNN网络中，得到初始特征向量；将所述初始特征向量与船只运动属性向量进行拼接，得到特征向量。4.根据权利要求1所述的基于态势信息的对抗环境下多无人艇区域巡逻方法，其特征在于，通过所述特征向量和奖励函数对MADDPG算法进行训练，具体包括：将所述特征向量输入至所述Actor网络，得到下一时刻的动作指令；根据下一时刻的动作指令进行巡逻，并通过所述奖励函数和所述Critic网络对下一时刻的动作指令进行评价；根据评价结果对所述Actor网络进行参数调整。5.根据权利要求4所述的基于态势信息的对抗环境下多无人艇区域巡逻方法，其特征在于，所述奖励函数R表达式如下：R＝r
unknown
+r
catch
+r
escape
+r
intrusion
+r
collision
其中，r
unknown
为巡逻区域全局未知度奖励，r
catch
为敌方船只捕捉奖励，r
escape
为敌方船只逃逸奖励，r
intrusion
为敌方船只入侵奖励，r
collision
...

【专利技术属性】
技术研发人员：彭艳，葛智豪，宋锐，瞿栋，钟雨轩，齐俊桐，
申请(专利权)人：上海大学，
类型：发明
国别省市：