对空作战指挥决策智能体训练平台及方法技术

本发明专利技术提供一种对空作战指挥决策智能体训练平台及方法，包括支撑层：为指挥决策智能体建模与训练及演示验证、体系对抗建模与仿真提供通用的软硬件支撑；资源层：基于通用仿真平台支撑构建作战仿真模型库，适应不同对空作战指挥决策智能体训练需求快速搭建学习环境、基于通用强化学习平台支撑构建智能体模型库，满足不同指挥决策智能体训练需求；应用层：根据作战指挥决策智能应用需求，拆解实际指挥决策问题，针对性集成智能体训练应用系统，开展指挥决策智能体并行训练及相关技术验证应用。本发明专利技术灵活快速构建智能体及其学习环境，并以军事业务规则为指导，结合多智能体大想定样本并行训练，提升指挥决策智能体模型训练效率与泛化扩展应用能力。泛化扩展应用能力。泛化扩展应用能力。

【技术实现步骤摘要】
对空作战指挥决策智能体训练平台及方法


[0001]本专利技术涉及军事智能的
，具体地，涉及对空作战指挥决策智能体训练平台及方法。

技术介绍

[0002]随着人工智能(AI)技术的快速发展，各国陆续在军事领域开展人工智能及相关技术成果研究及应用，以期提升未来智能化背景下的作战能力。
[0003]对空作战指挥决策是一种典型的动态场景交互式作战行为，传统模式下作战指挥人员根据战场态势经主观思考结合历史经验制定作战方案并下达作战指令。由于作战态势复杂多变，需要指挥官能够快速分析战场环境、应对战场不确定性，加快决策的速度。通过引入人工智能、作战仿真相关技术，利用试验数据及仿真数据使用学习算法开展智能体训练，将提升军事态势处理、决策优化选择等指挥工序效率。
[0004]由于缺少实战及试验数据，目前主要采用作战仿真系统产生模拟数据作为样本数据进行指挥决策智能体训练，受制于仿真模型与智能体模型设计专业性强、仿真系统及训练系统搭建周期长、训练模式采用单个高状态/动作维智能体串行训练等因素，指挥决策智能体面临训练效率低的问题；受制于训练想定样本有限、训练和应用阶段分离等因素，训练所得的智能体存在泛化性差、扩展性不强的缺点。
[0005]因此，需要提出一种新的技术方案以改善上述技术问题。

技术实现思路

[0006]针对现有技术中的缺陷，本专利技术的目的是提供一种对空作战指挥决策智能体训练平台及方法。
[0007]根据本专利技术提供的一种对空作战指挥决策智能体训练平台，包括：
[0008]支撑层：为对空作战指挥决策智能体建模与训练及演示验证、体系对抗建模与仿真试验提供通用的软硬件环境支撑；
[0009]资源层：针对不同的训练需求，采用通用仿真平台快速构建作战仿真模型库、作战规则库，集成作战仿真应用系统；采用通用强化学习平台快速构建智能体模型库、智能博弈算法库；为搭建学习训练环境提供资源基础；
[0010]应用层：根据对空作战指挥决策智能应用需求，拆解实际指挥决策问题，集成构建子问题智能体训练应用系统，构建作战训练想定集，开展多指挥决策子问题智能体并行训练及智能对空作战指挥决策相关技术演示验证应用。
[0011]优选地，所述支撑层包含通用软件支撑工具与通用硬件支撑工具，其中通用软件支撑工具包括通用体系对抗仿真平台、通用强化学习平台、通用通信中间件；
[0012]所述通用体系对抗仿真平台为仿真模型及仿真系统提供设计框架、模型调度、想定制作、态势显示、仿真运行管控及内部通信交互；具体包括作战仿真引擎、作战想定编辑工具、态势显示工具、仿真模型配置工具、运行管控工具、仿真代理软件；仿真代理软件能够
接收强化学习平台发送的运行控制指令，控制仿真引擎启停、推进；
[0013]所述通用强化学习平台包括智能体模型生成模块、智能体训练模块、训练代理软件模块、训练过程演示模块；训练代理软件模块能够根据训练进程向仿真平台发送仿真运行控制指令，接收转进仿真运行状态及结果信息。
[0014]优选地，所述通用硬件支撑工具包括训练服务器、数据与模型存储服务器、仿真计算机、态势显示显控、算法开发调试显控、训练展示显控、智能体模型设计显控、智能体模型开发调试显控、训练控制显控；想定编辑显控、态势显示显控、数据采集显控、仿真模型设计显控、仿真模型开发调试显控、作战规则设计显控；
[0015]所述数据与模型存储服务器用于存储仿真数据、作战仿真模型、智能体模型、训练想定；
[0016]所述训练控制显控用于训练模式控制及训练业务管理，训练模式包括单仿真节点单智能体训练、单仿真节点多智能体训练、多仿真节点单智能体训练、多仿真节点多智能体训练；
[0017]所述作战规则设计显控用于设计制定对空作战指挥决策军事业务规则。
[0018]优选地，所述资源层包括作战仿真模型库、作战规则库、训练想定集、智能体模型库、智能博弈算法库；
[0019]所述作战仿真模型库存储管理作战平台、指挥控制系统装备、预警探测装备、火力拦截装备、电子战装备、打击武器装备的仿真模型、作战任务仿真模型；打击武器装备模型用于模拟来袭目标的打击样式及打击过程；作战任务仿真模型用于配置对空作战任务；
[0020]所述应用层根据对空指挥决策训练需求集成智能体训练应用系统，开展指挥决策智能体训练及验证应用。
[0021]优选地，所述仿真模型配置工具能够为仿真模型构建提供建模框架及交互接口模板，模型之间通过统一框架和交互机制进行集成；
[0022]所述智能体模型生成模块提供智能体模型设计框架及模板，支持模型状态空间、动作空间、价值函数及策略函数设计构建，生成指挥决策智能体神经网络模型，并通过统一框架和交互机制进行集成；
[0023]所述智能体训练模块提供通用人工智能强化学习算法及算法设计框架，支持按照标准接口集成构建作战指挥决策业务训练算法；并控制训练业务进程。
[0024]优选地，所述通用通信中间件包括交互协议制定模块与通信传输模块；交互协议制定模块根据指挥决策智能体训练业务逻辑，定制仿真平台与强化学习平台、仿真模型与智能体之间的接口。
[0025]优选地，仿真平台与强化学习平台之间的接口包括仿真运行控制指令与推进状态信息；仿真模型与智能体之间的接口为指挥决策训练业务交互内容；所述通信传输模块提供多种主流类型的网络通信协议。
[0026]优选地，所述作战规则库用于存储管理各类对空作战指挥决策规则，包括兵力行动规则及装备运用规则，能够历史规则查询与调用；所述训练想定集存储管理各类作战指挥决策作战仿真想定，用于智能体训练；智能博弈算法库用于存储管理已发布应用的博弈训练算法；智能体模型库用于存储管理已发布应用的智能体模型。
[0027]本专利技术还提供一种对空作战指挥决策智能体训练方法，其特征在于，所述方法应
用上述中的对空作战指挥决策智能体训练平台，所述方法包括如下步骤：
[0028]步骤S1：利用通用体系仿真平台、通用强化学习平台、通用中间件的工具准备作战仿真模型、作战规则、智能体模型、博弈学习算法的训练资源；
[0029]步骤S2：根据对空指挥决策链路，将实际指挥决策问题拆解成多个指挥决策子问题，针对每个指挥决策子问题调取训练资源，集成指挥决策子问题智能体训练应用系统；
[0030]步骤S3：根据指挥决策训练需求，基于智能体训练应用系统利用想定编辑与管理工具批量制作训练想定集；
[0031]步骤S4：开展多子问题智能体模型并行训练，在子问题智能体训练应用系统中除了该子问题采用智能体产生决策指令以外，其他决策环节均可通过设定作战规则实现自动决策；
[0032]步骤S5：将各子问题智能体模型剥离强化学习平台，同时保留对外业务接口进行模块化封装，将封装后的子问题智能体模型合成至对指挥控制系统装备模型；
[0033]步骤S6：从想定集中调取应用想定，基于对空作战指挥决策智能体训练平台开展智能决策作战概念演示验证、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对空作战指挥决策智能体训练平台，其特征在于，包括：支撑层：为对空作战指挥决策智能体建模与训练及演示验证、体系对抗建模与仿真试验提供通用的软硬件环境支撑；资源层：针对不同的训练需求，采用通用仿真平台快速构建作战仿真模型库、作战规则库，集成作战仿真应用系统；采用通用强化学习平台快速构建智能体模型库、智能博弈算法库；为搭建学习训练环境提供资源基础；应用层：根据对空作战指挥决策智能应用需求，拆解实际指挥决策问题，集成构建子问题智能体训练应用系统，构建作战训练想定集，开展多指挥决策子问题智能体并行训练及智能对空作战指挥决策相关技术演示验证应用。2.根据权利要求1所述的对空作战指挥决策智能体训练平台，其特征在于，所述支撑层包含通用软件支撑工具与通用硬件支撑工具，其中通用软件支撑工具包括通用体系对抗仿真平台、通用强化学习平台、通用通信中间件；所述通用体系对抗仿真平台为仿真模型及仿真系统提供设计框架、模型调度、想定制作、态势显示、仿真运行管控及内部通信交互；具体包括作战仿真引擎、作战想定编辑工具、态势显示工具、仿真模型配置工具、运行管控工具、仿真代理软件；仿真代理软件能够接收强化学习平台发送的运行控制指令，控制仿真引擎启停、推进；所述通用强化学习平台包括智能体模型生成模块、智能体训练模块、训练代理软件模块、训练过程演示模块；训练代理软件模块能够根据训练进程向仿真平台发送仿真运行控制指令，接收转进仿真运行状态及结果信息。3.根据权利要求2所述的对空作战指挥决策智能体训练平台，其特征在于，所述通用硬件支撑工具包括训练服务器、数据与模型存储服务器、仿真计算机、态势显示显控、算法开发调试显控、训练展示显控、智能体模型设计显控、智能体模型开发调试显控、训练控制显控；想定编辑显控、态势显示显控、数据采集显控、仿真模型设计显控、仿真模型开发调试显控、作战规则设计显控；所述数据与模型存储服务器用于存储仿真数据、作战仿真模型、智能体模型、训练想定；所述训练控制显控用于训练模式控制及训练业务管理，训练模式包括单仿真节点单智能体训练、单仿真节点多智能体训练、多仿真节点单智能体训练、多仿真节点多智能体训练；所述作战规则设计显控用于设计制定对空作战指挥决策军事业务规则。4.根据权利要求1所述的对空作战指挥决策智能体训练平台，其特征在于，所述资源层包括作战仿真模型库、作战规则库、训练想定集、智能体模型库、智能博弈算法库；所述作战仿真模型库存储管理作战平台、指挥控制系统装备、预警探测装备、火力拦截装备、电子战装备、打击武器装备的仿真模型、作战任务仿真模型；打击武器装备模型用于模拟来袭目标的打击样式及打击过程；作战任务仿真模型用于配置对空作战任务；所述应用层根据对空指挥决策训练需求集成智能体训练应用系统，开展指挥决策智能体训练及验证应用。5.根据权利要求2所述的对空作战指挥决策智能体训练平台，其特征在于，所述仿真模型配置工具能够为仿真模型构建提供建模框架及交互接口模板，模型之间通过统一框架和
交互机制进行集成；所述智能体模型生成模块提供智能体模型设计框架及模板，支持模型状态空间、动作空间、价值函数及策略函数设计构建，生成指挥决策智能体神经网络模型，并通过统一框架和交互机制进行集成；所述智能体训练模块提供通用人工智能强化学习算法及算法设计框架，支持按照标准接口...

【专利技术属性】
技术研发人员：高远，陆志沣，帅逸仙，钱晓超，赖鹏，谢文雅，洪泽华，聂志宏，
申请(专利权)人：上海机电工程研究所，
类型：发明
国别省市：