一种基于神经网络的VR维修训练操作熟练度预测方法技术

本发明专利技术涉及一种基于神经网络的VR维修训练操作熟练度预测方法，属于装备虚拟维修训练技术领域。本发明专利技术使用Transformer，并结合IETM流程、VR设备对VR维修训练操作熟练度进行预测。该预测方法由IETM提供VR维修训练流程，将VR设备传感器采集的接受VR维修训练人员的动作等信息作为输入，利用神经网络实现对该人员操作熟练度的预测，解决了传统的知识追踪技术的问题，预测效果更加稳定。预测效果更加稳定。预测效果更加稳定。

【技术实现步骤摘要】
一种基于神经网络的VR维修训练操作熟练度预测方法


[0001]本专利技术属于装备虚拟维修训练
，具体涉及一种基于神经网络的VR维修训练操作熟练度预测方法。

技术介绍

[0002]知识追踪是人工智能技术的一个重要研究方向，其目标是通过建立知识状态随时间变化的模型，来判断相关人员对知识的掌握程度，从而提供个性化的指导，达到人工智能辅助教学的目的。
[0003]VR技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中，是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术、等多种技术的集合。主要包括模拟环境、感知、自然技能和传感设备等方面，模拟环境是由计算机生成的、实时动态的三维立体逼真图像。随着VR技术的长足进步，利用VR技术进行装备维修训练的系统越来越多，然而对接受维修训练的人员进行评价一般通过人工来进行，缺乏有效的熟练度客观评价策略和方法。结合IETM中的维修数据，将知识追踪引入至VR维修训练系统能够利用人工智能技术对接受维修训练的人员的操作熟练程度进行有效、客观的预测。
[0004]传统的知识追踪技术只能通过较为单一的输入来对人员的知识掌握情况做一个预判，且通常利用RNN结构，不能很好地结合人员的知识掌握记录，对于单个用户的预测结果波动性较大。

技术实现思路

[0005](一)要解决的技术问题
[0006]本专利技术要解决的技术问题是：如何设计一种VR维修训练操作熟练度预测方法，预测效果更加稳定。
[0007](二)技术方案
[0008]为了解决上述技术问题，本专利技术提供了一种基于神经网络的VR维修训练操作熟练度预测方法，该方法包括以下步骤：
[0009]第一阶段：利用VR眼镜读取某设备的IETM数据库和数据流，创建IETM维修训练流程，将对应的训练任务的关键点进行划分，得到设备维修操作的步骤名称、操作的时间、操作尝试的次数，
[0010]第二阶段：接受VR维修训练的人员佩戴好VR眼镜、操作手柄；
[0011]第三阶段：VR眼镜根据IETM维修训练流程构建出被维修设备的VR场景；
[0012]第四阶段：接受VR维修训练的人员按照IETM维修训练流程给出的操作规范，进行维修操作，利用操作手柄采集动作信息，并将维修过程中关键点的动作信息进行存储；
[0013]第五阶段：VR维修任务结束后，将操作手柄的动作信息按照关键点拆分，并结合维
修操作的次间信息即操作时间和操作尝试次数，编码成符合网络输入格式规范的动作序列，在此阶段中，考虑保持操作步骤名称、操作时间和操作尝试次数之间的对应关系，在所述编码的过程中对所述动作序列添加一个位置编码，为后续的多头注意力机制提供动作序列的位置信息；
[0014]第六阶段：将输入变量即动作序列信息输入网络模型预测维修熟练度。
[0015]优选地，第六阶段中，所述网络模型设计为包含以下几个部分：
[0016]一是在网络的输入部分引入的门控单元，该门控单元对输入的该维修操作的平均熟练度结果序列进行处理，之后利用处理的结果对维修操作的步骤名称序列、操作时间序列、位置编码和操作尝试次数序列的融合结果进行门控约束，门控单元的输出结果E
gate
表示为：
[0017][0018]其中，E
position
,E
name
,E
time
,E
times
,E
results
分别表示维修操作序列的位置序列，名称序列，时间序列、尝试次数序列和该维修操作的平均熟练度结果序列；
[0019]二是基于Transformer的编解码器，利用Transfomer结构进行并行计算；编解码器的编码部分由三个级联的编码器组成，单个编码器包括多头注意力模块、第一层归一化模块、前馈网络、第二层归一化模块；
[0020]设Q表示维修操作名称序列处理得到的向量，K表示维修操作时间序列和次数序列处理得到的向量，V表示维修操作名称序列、时间序列、尝试次数序列以及位置序列与维修熟练度结果序列进行门运算之后得到的结果，三个编码器的输出结果均表示为：
[0021][0022]其中，W
q
，W
k
，W
v
表示线性变换矩阵，为多头注意力机制中头的运算过程，E
position
，E
time
，E
name
，E
times
，E
gate
分别表示维修操作序列的位置信息序列，操作时间序列、操作步骤名称序列、操作尝试次数序列和门控单元的输出结果；所述前馈网络用于进一步提取输入变量的特征。第一、第二层归一化模块用于稳定整个网络的梯度；
[0023]解码部分的解码器也由三个级联的解码器组成，单个解码器包含了第二多头注意力模块、第三层归一化模块、第三多头注意力模块、第四层归一化模块，其中，第一层解码器的第三多头注意力模块的输入为最后一层编码器的输出，与编码器不同的是，在解码器的第二多头注意力模块中引入了对应层级的编码器中的第二层归一化模块的输出；
[0024]在网络模型的解码器阶段，解码器的第二多头注意力模块的输出为第三多头注意力模块的Q端，在解码器中的第二多头注意力模块的输入中增加了对应层级的编码器的输出，并将其设置为解码器中第二多头注意力模块的K端与V端；
[0025]三是预测单元，将解码器的输出信息输入预测单元的前馈神经网络，之后在预测单元中进行归一化操作，再送入预测单元的全连接层，最后将全连接层的输出通过Sigmoid函数，将输出约束到[0,1]范围内，作为预测的维修熟练度信息。
[0026]优选地，设备维修操作的步骤名称、操作的时间、操作尝试的次数这些参数可根据具体的训练步骤进行适应性的调整。
[0027]优选地，关键点划分的结果如表1所示：
[0028]表1训练的数据参数
[0029]名称取值范围单位操作步骤名称[0,6]‑
操作时间[0,3600]秒操作尝试次数[0,10]‑
[0030]优选地，通过在网络模型中引入多头注意力机制，使得网络模型优化输入变量中的不同特征部分。
[0031]优选地，所述位置编码采用正弦位置编码的方式实现。
[0032]优选地，所述编解码器利用Transfomer结构进行并行计算的同时还考虑输入特征的全局信息。
[0033]本专利技术还提供了一种用于实现所述方法的预测系统。
[0034]本专利技术还提供了一种所述方法在装备虚拟维修训练
中的应用。
[0035]本专利技术还提供了一种所述系统在装备虚拟维修训练
中的应用。
[0036](三)有益效果
[0037]本专利技术使用Transformer，并结合IETM本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的VR维修训练操作熟练度预测方法，其特征在于，该方法包括以下步骤：第一阶段：利用VR眼镜读取某设备的IETM数据库和数据流，创建IETM维修训练流程，将对应的训练任务的关键点进行划分，得到设备维修操作的步骤名称、操作的时间、操作尝试的次数，第二阶段：接受VR维修训练的人员佩戴好VR眼镜、操作手柄；第三阶段：VR眼镜根据IETM维修训练流程构建出被维修设备的VR场景；第四阶段：接受VR维修训练的人员按照IETM维修训练流程给出的操作规范，进行维修操作，利用操作手柄采集动作信息，并将维修过程中关键点的动作信息进行存储；第五阶段：VR维修任务结束后，将操作手柄的动作信息按照关键点拆分，并结合维修操作的次间信息即操作时间和操作尝试次数，编码成符合网络输入格式规范的动作序列，在此阶段中，考虑保持操作步骤名称、操作时间和操作尝试次数之间的对应关系，在所述编码的过程中对所述动作序列添加一个位置编码，为后续的多头注意力机制提供动作序列的位置信息；第六阶段：将输入变量即动作序列信息输入网络模型预测维修熟练度。2.如权利要求1所述的方法，其特征在于，第六阶段中，所述网络模型设计为包含以下几个部分：一是在网络的输入部分引入的门控单元，该门控单元对输入的该维修操作的平均熟练度结果序列进行处理，之后利用处理的结果对维修操作的步骤名称序列、操作时间序列、位置编码和操作尝试次数序列的融合结果进行门控约束，门控单元的输出结果E
gate
表示为：其中，E
position
,E
name
,E
time
,E
times
,E
results
分别表示维修操作序列的位置序列，名称序列，时间序列、尝试次数序列和该维修操作的平均熟练度结果序列；二是基于Transformer的编解码器，利用Transfomer结构进行并行计算；编解码器的编码部分由三个级联的编码器组成，单个编码器包括多头注意力模块、第一层归一化模块、前馈网络、第二层归一化模块；设Q表示维修操作名称序列处理得到的向量，K表示维修操作时间序列和次数序列处理得到的向量，V表示维修操作名称序列、时间序列、尝试次数序列以及位置序列与维修熟练度结果序列进行门运算之后得到的结果，三个编码器的输出结果均表示为：其中，W
q
，W
k
，W
...

【专利技术属性】
技术研发人员：沈晓彦，王伟明，万永松，朱懿，李炜娜，杜梦影，
申请(专利权)人：中国兵器工业标准化研究所，
类型：发明
国别省市：