一种基于AI强化学习的无人艇对抗辅助方法及系统技术方案

本发明专利技术提供了一种基于AI强化学习的无人艇对抗辅助方法及系统，涉及数据处理技术领域，通过根据被动目标实时和主动目标的位置参数和移动参数对主动目标进行控制生成N个控制域，在控制域内对主动目标进行控制方案寻优，以获得最优控制方案对主动目标进行辅助控制。解决了现有技术中存在对抗围捕过程中，攻击无人艇的位移参数调节控制的及时性和准确度不足，导致对抗围捕效率较低且成功率较低的技术问题。达到了获得能够快速逼近被动目标无人艇的主动目标移动参数控制方案，提高对被动目标进行对抗围捕过程中主动目标无人艇移动控制参数调整优化的智能性和有效性，间接实现了提高对被动目标进行围捕的效率和成功率的技术效果。效果。效果。

【技术实现步骤摘要】
一种基于AI强化学习的无人艇对抗辅助方法及系统


[0001]本专利技术涉及数据处理
，具体涉及一种基于AI强化学习的无人艇对抗辅助方法及系统。

技术介绍

[0002]无人艇对抗模拟对于许多作业有着重要的参考意义，其中包括对抗围捕的问题，攻击无人艇的位移参数调节控制是对抗围捕的一个非常关键的环节。
[0003]对于攻击无人艇的位移参数调节控制的准确性较为重要，且时间是非常紧迫的。然而，现有阶段在控制器设计、数据传输以及运算分析等方面还存在不足，导致控制反应速度慢，控制效果差，常常会错失攻击时机。
[0004]现有技术中存在对抗围捕过程中，攻击无人艇的位移参数调节控制的准确度和及时性不足，导致对抗围捕效率较低且成功率较低的技术问题。

技术实现思路

[0005]本申请提供了一种基于AI强化学习的无人艇对抗辅助方法及系统，用于针对解决现有技术中存在对抗围捕过程中，攻击无人艇的位移参数调节控制的及时性和准确度不足，导致对抗围捕效率较低且成功率较低的技术问题。
[0006]鉴于上述问题，本申请提供了一种基于AI强化学习的无人艇对抗辅助方法及系统。
[0007]本申请的第一个方面，提供了一种基于AI强化学习的无人艇对抗辅助方法，所述方法包括：获取待围捕的被动目标实时的被动位置参数以及被动移动参数；获取对所述被动目标进行对抗围捕的N个主动目标实时的N个主动位置参数和N个主动移动参数，N为大于1的整数，所述被动目标和主动目标均为无人艇；根据所述被动位置参数、被动移动参数、N个主动位置参数和N个主动移动参数，对所述N个主动目标进行控制，生成N个控制域；在所述N个控制域内，进行对所述N个主动目标进行控制的控制方案的寻优，其中，通过基于马尔科夫决策模型和对抗评价函数对每个控制方案的适应度进行评价计算，且寻优过程中每个控制方案迭代产生的控制方案的数量与适应度正相关，所述对抗评价函数包括围捕评价函数和位置评价函数；基于寻优获得的最优控制方案，对所述N个主动目标进行辅助控制。
[0008]本申请的第二个方面，提供了一种基于AI强化学习的无人艇对抗辅助系统，所述系统包括：实时参数获取模块，用于获取待围捕的被动目标实时的被动位置参数以及被动移动参数；移动参数采集模块，用于获取对所述被动目标进行对抗围捕的N个主动目标实时的N个主动位置参数和N个主动移动参数，N为大于1的整数，所述被动目标和主动目标均为无人艇；目标控制执行模块，用于根据所述被动位置参数、被动移动参数、N个主动位置参数和N个主动移动参数，对所述N个主动目标进行控制，生成N个控制域；控制方案寻优模块，用于在所述N个控制域内，进行对所述N个主动目标进行控制的控制方案的寻优，其中，通过基于马尔科夫决策模型和对抗评价函数对每个控制方案的适应度进行评价计算，且寻优过程
中每个控制方案迭代产生的控制方案的数量与适应度正相关，所述对抗评价函数包括围捕评价函数和位置评价函数；辅助控制执行模块，用于基于寻优获得的最优控制方案，对所述N个主动目标进行辅助控制。
[0009]本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：本申请实施例提供的方法通过获取待围捕的被动目标实时的被动位置参数以及被动移动参数；获取对所述被动目标进行对抗围捕的N个主动目标实时的N个主动位置参数和N个主动移动参数，N为大于1的整数，所述被动目标和主动目标均为无人艇；根据所述被动位置参数、被动移动参数、N个主动位置参数和N个主动移动参数，对所述N个主动目标进行控制，生成N个控制域；在所述N个控制域内，进行对所述N个主动目标进行控制的控制方案的寻优，其中，通过基于马尔科夫决策模型和对抗评价函数对每个控制方案的适应度进行评价计算，且寻优过程中每个控制方案迭代产生的控制方案的数量与适应度正相关，所述对抗评价函数包括围捕评价函数和位置评价函数；基于寻优获得的最优控制方案，对所述N个主动目标进行辅助控制。达到了获得能够快速逼近被动目标无人艇的主动目标移动参数控制方案，提高对被动目标进行对抗围捕过程中主动目标无人艇移动控制参数调整优化的智能性和有效性，间接实现了提高对被动目标进行围捕的效率和成功率的技术效果。
附图说明
[0010]图1为本申请提供的一种基于AI强化学习的无人艇对抗辅助方法流程示意图；图2为本申请提供的一种基于AI强化学习的无人艇对抗辅助方法中获得被动参数信息的流程示意图；图3为本申请提供的一种基于AI强化学习的无人艇对抗辅助方法中生成N个控制域的流程示意图；图4为本申请提供的一种基于AI强化学习的无人艇对抗辅助系统的结构示意图。
[0011]附图标记说明：实时参数获取模块1，移动参数采集模块2，目标控制执行模块3，控制方案寻优模块4，辅助控制执行模块5。
具体实施方式
[0012]本申请提供了一种基于AI强化学习的无人艇对抗辅助方法及系统，用于针对解决现有技术中存在对抗围捕过程中，攻击无人艇的位移参数调节控制的及时性和准确度不足，导致对抗围捕效率较低且成功率较低的技术问题。达到了获得能够快速逼近被动目标无人艇的主动目标移动参数控制方案，提高对被动目标进行对抗围捕过程中主动目标无人艇移动控制参数调整优化的智能性和有效性，间接实现了提高对被动目标进行围捕的效率和成功率的技术效果。
[0013]本专利技术技术方案中对数据的获取、存储、使用、处理等均符合相关规定。
[0014]下面，将参考附图对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部。
实施例一
[0015]如图1所示，本申请提供了一种基于AI强化学习的无人艇对抗辅助方法，所述方法包括：S100:获取待围捕的被动目标实时的被动位置参数以及被动移动参数；在一个实施例中，如图2所示，获取待围捕的被动目标实时的被动位置参数以及被动移动参数，本申请提供的方法步骤S100还包括：S110:对目标区域进行坐标化处理，所述目标区域为所述被动目标和N个主动目标进行对抗的区域；S120:基于所述坐标化处理的结果，获取所述被动目标当前实时的坐标数据，获得所述被动位置参数；S130:获取所述被动目标当前实时的移动速度、移动加速度、艏向角、角速度、角加速度，作为所述被动移动参数。
[0016]具体而言，无人艇（UnmannedSurfaceVehicle，简称USV）是一种没有人员操作的船艇，可以自主地完成一系列任务，比如测绘水下地形、进行海洋科学研究、巡逻监视等。无人艇通常由计算机系统控制，配备多种传感器和设备，可以对环境进行实时监测和数据采集。无人艇广泛应用于海洋科学、海洋勘探、海事安全、港口管理等领域。
[0017]在本实施例中，所述被动目标为被围猎捕捉的无人艇，所述主动目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AI强化学习的无人艇对抗辅助方法，其特征在于，所述方法包括：获取待围捕的被动目标实时的被动位置参数以及被动移动参数；获取对所述被动目标进行对抗围捕的N个主动目标实时的N个主动位置参数和N个主动移动参数，N为大于1的整数，所述被动目标和主动目标均为无人艇；根据所述被动位置参数、被动移动参数、N个主动位置参数和N个主动移动参数，对所述N个主动目标进行控制，生成N个控制域；在所述N个控制域内，进行对所述N个主动目标进行控制的控制方案的寻优，其中，通过基于马尔科夫决策模型和对抗评价函数对每个控制方案的适应度进行评价计算，且寻优过程中每个控制方案迭代产生的控制方案的数量与适应度正相关，所述对抗评价函数包括围捕评价函数和位置评价函数；基于寻优获得的最优控制方案，对所述N个主动目标进行辅助控制。2.根据权利要求1所述的方法，其特征在于，获取待围捕的被动目标实时的被动位置参数以及被动移动参数，包括：对目标区域进行坐标化处理，所述目标区域为所述被动目标和N个主动目标进行对抗的区域；基于所述坐标化处理的结果，获取所述被动目标当前实时的坐标数据，获得所述被动位置参数；获取所述被动目标当前实时的移动速度、移动加速度、艏向角、角速度、角加速度，作为所述被动移动参数。3.根据权利要求1所述的方法，其特征在于，根据所述被动位置参数、被动移动参数、N个主动位置参数和N个主动移动参数，对所述N个主动目标进行控制，生成N个控制域，包括：根据所述被动位置参数和被动移动参数，进行所述被动目标在下一个时间窗口的移动预测，获得目标移动位置；基于所述N个主动位置参数和N个主动移动参数，获取所述N个主动目标进行在下一个时间窗口可达到的区域，作为所述N个控制域。4.根据权利要求3所述的方法，其特征在于，在所述N个控制域内，进行对所述N个主动目标进行控制的控制方案的寻优，包括：在所述N个控制域内，随机生成第一控制方案，其中，所述第一控制方案包括对所述N个主动目标进行控制，在下一个时间窗口达到N个第一位置；按照预设迭代数量M，基于所述第一控制方案，在所述N个控制域内进行迭代，获得M个第二控制方案；基于马尔科夫决策模型和对抗评价函数对所述M个第二控制方案进行适应度评价，获得M个适应度；基于所述M个适应度，获取M个调整迭代数量；所述M个第二控制方案基于所述M个调整迭代数量，分别迭代产生M个调整迭代数量的第三控制方案，进行迭代寻优；继续寻优达到预设寻优条件，将寻优过程中适应度最大的控制方案输出，获得所述最优控制方案。5.根据权利要求4所述的方法，其特征在于，基于马尔科夫决策模型和对抗评价函数对
所述M个第二控制方案进行适应度评价，获得M个适应度，包括:基于历史时间内的无人艇对抗数据，获取样本第一围捕状态、样本第一控制方案、样本第二围捕状态和样本第一控制评分；基于所述样本第二围捕状态，获取样本第二控制...

【专利技术属性】
技术研发人员：叶刚，刘云平，倪宏宇，杨薛，葛愿，
申请(专利权)人：苏州优世达智能科技有限公司，
类型：发明
国别省市：