一种水面无人艇任务规划学习器设计方法及系统技术方案

本发明专利技术涉及一种水面无人艇任务规划学习器设计方法及系统，所述方法包括：构建仿真模型体系；搭建强化学习环境；构建无人艇对抗场景；其中，仿真模型是对现实或虚拟实物的抽象和描述，所述仿真模型体系包括由多个所述仿真模型构成的集合以及由多个所述仿真模型之间的关系构成的集合；所述强化学习环境用于构建无人艇对抗强化学习算法模型的训练和验证平台；所述无人艇对抗场景用于提供完备的想定编辑、地图编辑和模型开发能力，还用于根据指定水面环境情况，绘制不同的场景的想定和地图。本发明专利技术提供了一种面向强化学习的水面无人艇规划学习器设计方法及系统，解决了现有技术中在水面无人艇任务规划场景下，缺少面向强化学习的学习仿真器的问题。习的学习仿真器的问题。习的学习仿真器的问题。

【技术实现步骤摘要】
一种水面无人艇任务规划学习器设计方法及系统


[0001]本专利技术涉及水面无人艇
，具体涉及一种水面无人艇任务规划学习器设计方法及系统。

技术介绍

[0002]现有技术中的仿真系统包含想定管理、模型框架、仿真系统、导调控制和可视化平台等，是仿真推演综合解决方案。所述仿真系统支持双边或多边的对抗仿真需求，支持阵营、编队、组件装配、任务设定等的灵活配置；支持任务可视化流程建模，多阵营视角切换，态势实时可视化展示。该仿真系统主要应用于任务仿真、系统试验、自主算法测试等方面。
[0003]在深度强化领域，较为常用的仿真环境基本都采用开源强化学习环境接口Gym。Gym使用Python语言编写，兼容主流深度学习框架，如：TensorFlow、Theano、Pytorch等。但是，现有技术中还没有一种能够直接用于水面无人艇任务规划的相关强化学习仿真环境。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于克服现有技术的不足，提供一种水面无人艇任务规划学习器设计方法及系统，该方法面向强化学习算法，能够解决目前在水面无人艇任务规划场景下，缺少面向强化学习的学习仿真器的问题。
[0005]为实现以上目的，本专利技术采用如下技术方案：一种水面无人艇任务规划学习器设计方法，包括：
[0006]构建仿真模型体系；
[0007]搭建强化学习环境；
[0008]构建无人艇对抗场景；
[0009]其中，仿真模型是对现实或虚拟实物的抽象和描述，所述仿真模型体系包括由多个所述仿真模型构成的集合以及由多个所述仿真模型之间的关系构成的集合；
[0010]所述强化学习环境用于构建无人艇对抗强化学习算法模型的训练和验证平台；
[0011]所述无人艇对抗场景用于提供完备的想定编辑、地图编辑和模型开发能力，还用于根据指定水面环境情况，绘制不同的场景的想定和地图。
[0012]可选的，所述构建仿真模型体系，包括：
[0013]确认仿真研究边界；
[0014]梳理实体和组件类别清单；
[0015]梳理实体和组件功能清单；
[0016]对模型体系进行演化，以得到完备性符合预设要求的仿真模型体系。
[0017]可选的，所述对模型体系进行演化，包括：
[0018]从顶层实体模型开始，根据梳理出来的功能和指标，对顶层实体进行演化，同时将相应功能和指标赋予相应的演化实体；对所有实体和组件进行类别划分，将相似功能和类别的模型组件归属至同一类别。
[0019]可选的，所述搭建强化学习环境，包括：
[0020]基于Gym框架环境定义接口规范和集成消息中间件开发规范，在原有Gym框架基础上扩展与任务规划学习器适配的Gym环境，以实现Gym框架与仿真引擎的集成，构建无人艇对抗强化学习算法模型的训练和验证平台。
[0021]可选的，所述构建无人艇对抗场景，包括：
[0022]使用分布式并行仿真系统构建无人艇对抗模拟器的场景功能；进一步包括：六方格地图绘制、想定构建以及打分规则和终止规则设置。
[0023]可选的，所述六方格地图用于展示场景地图属性信息；
[0024]所述场景地图属性信息，至少包含如下项中的一项：
[0025]经纬度坐标、地图横纵格行列格数、单元格的间隔大小、地形类型。
[0026]可选的，所述想定构建采用多层次递进式的建模思想和模型继承演化体系结构；
[0027]想定结构包括各个阵营实体的配置、环境各实体的配置、规划的机动路线配置、各阵营编队实体配置和预置任务配置；
[0028]所述想定构建采用可扩展标记语言XML进行定义。
[0029]可选的，所述打分规则和终止规则设置，用于评价强化学习与环境进行交互产生动作的好坏，以指导强化学习系统产生正确的动作，改进行动方案以适应环境。
[0030]本专利技术还提供了一种水面无人艇任务规划学习器设计系统，包括：
[0031]第一构建模块，用于构建仿真模型体系；
[0032]搭建模块，用于搭建强化学习环境；
[0033]第二构建模块，用于构建无人艇对抗场景；
[0034]其中，仿真模型是对现实或虚拟实物的抽象和描述，所述仿真模型体系包括由多个所述仿真模型构成的集合以及由多个所述仿真模型之间的关系构成的集合；
[0035]所述强化学习环境用于构建无人艇对抗强化学习算法模型的训练和验证平台；
[0036]所述无人艇对抗场景用于提供完备的想定编辑、地图编辑和模型开发能力，还用于根据指定水面环境情况，绘制不同的场景的想定和地图。
[0037]此外，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前面任一项所述的水面无人艇任务规划学习器设计方法。
[0038]本专利技术采用以上技术方案，所述一种水面无人艇任务规划学习器设计方法，包括：构建仿真模型体系；搭建强化学习环境；构建无人艇对抗场景。本专利技术通过对实体模型功能和参数的抽象、实体间关系的抽象以及实体和组件之间的装配关系的抽象，确定系统组成和功能并提炼通用的属性描述和方法描述，并最终构建一个完整的模型体系框架。无人艇对抗系统强化学习环境基于Gym框架环境定义接口规范和集成消息中间件开发规范，在原有Gym框架基础上扩展与任务规划学习器适配的Gym环境，以实现Gym框架与仿真引擎的集成，构建无人艇对抗强化学习算法模型的训练和验证平台。同时，该方法采用分布式并行仿真系统引入水面环境因素，绘制不同的场景的想定和地图；本专利技术提供了一种面向强化学习的水面无人艇规划学习器设计方法，解决了现有技术中在水面无人艇任务规划场景下，缺少面向强化学习的学习仿真器的问题。
附图说明
[0039]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1是本专利技术一种水面无人艇任务规划学习器设计方法一个实施例提供的整体流程示意图；
[0041]图2是本专利技术实施例中构建仿真模型体系的流程示意图；
[0042]图3是本专利技术实施例中无人艇对抗强化学习环境与任务规划学习器关系图；
[0043]图4是是本专利技术实施例无人艇对抗系统中终止规则的定义示意图；
[0044]图5是本专利技术一种水面无人艇任务规划学习器设计系统一个实施例提供的整体结构示意图。
具体实施方式
[0045]为使本专利技术的目的、技术方案和优点更加清楚，下面将对本专利技术的技术方案进行详细的描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本专利技术所保护的范围。...

【技术保护点】

【技术特征摘要】
1.一种水面无人艇任务规划学习器设计方法，其特征在于，包括：构建仿真模型体系；搭建强化学习环境；构建无人艇对抗场景；其中，仿真模型是对现实或虚拟实物的抽象和描述，所述仿真模型体系包括由多个所述仿真模型构成的集合以及由多个所述仿真模型之间的关系构成的集合；所述强化学习环境用于构建无人艇对抗强化学习算法模型的训练和验证平台；所述无人艇对抗场景用于提供完备的想定编辑、地图编辑和模型开发能力，还用于根据指定水面环境情况，绘制不同的场景的想定和地图。2.根据权利要求1所述的方法，其特征在于，所述构建仿真模型体系，包括：确认仿真研究边界；梳理实体和组件类别清单；梳理实体和组件功能清单；对模型体系进行演化，以得到完备性符合预设要求的仿真模型体系。3.根据权利要求2所述的方法，其特征在于，所述对模型体系进行演化，包括：从顶层实体模型开始，根据梳理出来的功能和指标，对顶层实体进行演化，同时将相应功能和指标赋予相应的演化实体；对所有实体和组件进行类别划分，将相似功能和类别的模型组件归属至同一类别。4.根据权利要求1至3任一项所述的方法，其特征在于，所述搭建强化学习环境，包括：基于Gym框架环境定义接口规范和集成消息中间件开发规范，在原有Gym框架基础上扩展与任务规划学习器适配的Gym环境，以实现Gym框架与仿真引擎的集成，构建无人艇对抗强化学习算法模型的训练和验证平台。5.根据权利要求1至3任一项所述的方法，其特征在于，所述构建无人艇对抗场景，包括：使用分布式并行仿真系统构建无人艇对抗模拟器的场景功能；进一步包括：六方格地图绘制、想定构建以及...

【专利技术属性】
技术研发人员：韩玮，王千一，曾江峰，谢杨柳，张馗，陈骁，陈卓，马向峰，郭晓晔，梁旭，王伟，董钉，李哲，胥凤驰，骆福宇，王一帆，刘如磊，王子帅，吴与伦，宋胜男，董洁琳，许埔宁，王伟蒙，
申请(专利权)人：中国船舶集团有限公司系统工程研究院，
类型：发明
国别省市：