基于智能化仿真的装备效能评估数据集的构建方法技术

本发明专利技术涉及作战效能评估技术领域，尤其涉及一种基于智能化仿真的装备效能评估数据集的构建方法

【技术实现步骤摘要】
基于智能化仿真的装备效能评估数据集的构建方法


[0001]本专利技术涉及作战效能评估
，尤其涉及一种基于智能化仿真的装备效能评估数据集的构建方法
。

技术介绍

[0002]武器装备效能是指武器装备在特定条件下
、
执行规定作战任务所能达到预期可能目标的程度，它是武器装备的战技指标在特定条件和规定任务中的具体表现
。
效能是武器装备的重要评估指标，是武器装备规划论证
、
设计研制和作战运用的基本依据
。
装备效能评估就是对武器装备执行规定作战任务的作战效能的预先估计
。
在装备效能评估方法的早期研究中，大部分评估方法是依靠专家积累的经验对相关的信息进行定量或者定性评估，从而得到装备的效能评估结果
。
随着人工智能技术的发展，除传统综合评价法外，大量研究者将基于神经网络
、
进化计算等技术的装备能力智能评估方法应用于装备效能评估领域，装备能力智能评估方法不依赖专家经验，可根据仿真数据进行神经网络模型训练，构建效能评估智能模型
。
训练后的效能评估智能模型可根据装备技战术指标预测装备作战效能，预测准确性很大程度上取决于训练数据样本质量
。
[0003]现有装备作战效能评估数据样本采集未考虑装备作战策略的因素对仿真结果的影响，不同装备能力应对应不同的作战策略才可充分发挥其作战效能，针对不同型号
、
不同作用范围的装备采用相同的作战策略进行仿真试验无法体现该装备的真实能力
。
而针对同一装备，不同作战策略的设定又将显著影响作战仿真结果
。
在现有方法中作战策略这一因素对构建效能评估数据样本的影响未被有效识别并加以控制，因此以这样的方式构建的数据集无法充分反映装备的真实作战效能，难以保证装备效能智能评估模型的训练效果
。

技术实现思路

[0004]本专利技术为解决上述问题，提供一种基于智能化仿真的装备效能评估数据集的构建方法
。
[0005]本专利技术目的在于提供一种基于智能化仿真的装备效能评估数据集的构建方法，包括如下步骤：
S1、
装备效能评估需求分析：进行装备效能评估需求分析，确定任务场景
、
评估对象和评估内容；
S2、
仿真场景设计与编辑：根据装备效能评估需求分析的结果，进行仿真场景设计，构建装备智能决策模型；
S3、
智能体及训练环境设计：根据智能决策模型的相关参数，进行状态空间设计
、
动作空间设计
、
状态转移函数设计
、
奖赏函数设计；
S4、
智能体训练：采用
APE
‑
X
框架并行训练的方式
、
通过与环境互动进行智能体训练，以优先经验回放机制积累经验数据，优化决策水平；随着训练收敛，形成装备指标参数以及在该场景下充分发挥效能的决策模型；
S5、
智能化仿真数据生成：通过训练好的装备作战策略模型进行作战仿真推演，记录并统计仿真数据；
S6、
筛选仿真数据：从仿真数据中筛选效能最高的
N
条记录并计算效能均值，将装备指标参数和效能均值作为一条数据样本，存入效能评估数据集；
N≤10
；
S7、
通过样本生成控制程序进行自动参数设置，修改装备指标参数，并重复步骤
S3~S6
，直到产生足够多数据样本；结束数据生成过程，保存数据集并生成版本号
。
[0006]优选的，步骤
S2
中的装备智能决策模型包括装备接收到的信息
、
可能执行的策略
/
动作
、
装备的能力参数以及装备解算模型；所述装备解算模型包括装备仿真模型
、
结果裁决模型和效能计算模型
。
[0007]优选的，装备智能决策模型采用深度确定性策略梯度算法构建
。
[0008]优选的，深度确定性策略梯度算法包括
Actor
神经网络结构和
Critic
神经网络结构；所述
Actor
神经网络结构包括输入层
、
隐藏层和输出层，具体如下：以全连接层作为所述输入层，节点个数为单个智能体的观测信息长度；所述隐藏层共两层，其中一层是节点数为
128
的全连接层，采用
Relu
函数作为激活函数；另一层为
LN
归一层；采用全连接层加
softmax
函数作为所述输出层，节点数为将要决策的可能动作数；所述
Critic
神经网络结构包括输入层
、
隐藏层和输出层，具体如下：以全连接层作为所述输入层，节点个数为所有智能体的状态信息长度；所述隐藏层共两层，其中一层是节点数为
128
的全连接层，采用
Relu
函数作为激活函数；另一层为
LN
归一层；采用全连接层加
softmax
函数作为所述输出层，节点数为
1。
[0009]优选的，步骤
S4
中并行训练的具体步骤如下：
S401、
随机初始化价值网络参数
、
策略网络参数
、
目标网络参数；所述目标网络参数包括目标价值网络参数和目标策略网络参数；
S402、
初始化经验池和动作噪声；
S403、
智能体依据状态观测进行动作选择，环境给与奖励，进入下一状态，获取一条经验（
s,a,r,s
’
）并存入经验缓冲池，其中
s
为当前状态观测，
a
为动作决策结果，
r
为该动作获得的奖励，
s
’
为执行完该动作转换到的下一状态；
S404、
计算样本的
TD
误差，为经验缓冲池中的经验设置经验优先级，优先级由
TD
误差的绝对值
|
δ
i|
表示，
|
δ
i|
反映了样本的信息量；
S405、
采用非均匀采样，所述经验的采样概率计算公式为：，；
[0010]式中，代表经验
i
的采样概率；代表
buffer
中每一个样本的采样概率；
α
代表控制采样均衡或贪心的权衡因子，；
rank(i)
是对
|
δ
i|
降序排序后
|
δ
i|
的序号；
[0011]S406、
采用重要性采样修正因非均匀采样引入的偏差，权重计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于智能化仿真的装备效能评估数据集的构建方法，其特征在于，包括如下步骤：
S1、
装备效能评估需求分析：进行装备效能评估需求分析，确定任务场景
、
评估对象和评估内容；
S2、
仿真场景设计与编辑：根据装备效能评估需求分析的结果，进行仿真场景设计，构建装备智能决策模型；
S3、
智能体及训练环境设计：根据智能决策模型的相关参数，进行状态空间设计
、
动作空间设计
、
状态转移函数设计
、
奖赏函数设计；
S4、
智能体训练：采用
APE
‑
X
框架并行训练的方式
、
通过与环境互动进行智能体训练，以优先经验回放机制积累经验数据，优化决策水平；随着训练收敛，形成装备指标参数以及在该场景下充分发挥效能的决策模型；
S5、
智能化仿真数据生成：通过训练好的装备作战策略模型进行作战仿真推演，记录并统计仿真数据；
S6、
筛选仿真数据：从仿真数据中筛选效能最高的
N
条记录并计算效能均值，将装备指标参数和效能均值作为一条数据样本，存入效能评估数据集；
N≤10
；
S7、
通过样本生成控制程序进行自动参数设置，修改装备指标参数，并重复步骤
S3~S6
，直到产生足够多数据样本；结束数据生成过程，保存数据集并生成版本号
。2.
根据权利要求1所述的基于智能化仿真的装备效能评估数据集的构建方法，其特征在于：所述步骤
S2
中的装备智能决策模型包括装备接收到的信息
、
可能执行的策略
/
动作
、
装备的能力参数以及装备解算模型；所述装备解算模型包括装备仿真模型
、
结果裁决模型和效能计算模型
。3.
根据权利要求2所述的基于智能化仿真的装备效能评估数据集的构建方法，其特征在于：所述装备智能决策模型采用深度确定性策略梯度算法构建
。4.
根据权利要求3所述的基于智能化仿真的装备效能评估数据集的构建方法，其特征在于：所述深度确定性策略梯度算法包括
Actor
神经网络结构和
Critic
神经网络结构；所述
Actor
神经网络结构包括输入层
、
隐藏层和输出层，具体如下：以全连接层作为所述输入层，节点个数为单个智能体的观测信息长度；所述隐藏层共两层，其中一层是节点数为
128
的全连接层，采用
Relu
函数作为激活函数；另一层为
LN
归一层；采用全连接层加
softmax
函数作为所述输出层，节点数为将要决策的可能动作数；所述
Critic
神经网络结构包括输入层
、
隐藏层和输出层，具体如下：以全连接层作为所述输入层，节点个数为所有智能体的状态信息长度；所述隐藏层共两层，其中一层是节点数为
128
的全连接层，采用
Relu
函数作为激活函数；另一层为
LN
归一层；采用全连接层加
softmax
函数作为所述输出层，节点数为
1。5.
根据权利要求4所述的基于智能化仿真的装备效能评估数据集的构建方法，...

【专利技术属性】
技术研发人员：王烨，李姜，于洋，郭立红，崔爽，方艳超，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：