【技术实现步骤摘要】
本专利技术涉及机器学习评估，特别是涉及一种循环神经网络模型评估方法及装置。
技术介绍
1、随着深度学习技术飞速发展，以循环神经网络(recurrent neuralnetwork，rnn)为代表的深度学习模型被广泛应用于解决物理场关键性能点的时间序列预测问题，例如飞行器运动、车辆碰撞、制造系统刀具加工等高端装备表面的温度、压力关键点的时间序列分析及预测。量化评估则是采用一系列指标和方法来评价预测模型的准确性、以及完备性，评估结果可用来指导预测模型的训练和选择，衡量预测模型应用在物理场时间序列问题上是否有效可靠，因此对物理场时间序列预测模型进行量化评估十分重要。
2、针对循环神经网络准确性量化评估，通常使用平均绝对百分比误差(meanabsolute percentage error，mape)指标。mape评估结果以百分比为单位，所有误差在共同尺度上标准化，直观且容易理解。然而在高速运动体表面物理场预测领域，很多物理量的绝对值接近于零，那么mape指标面临分母除以零导致评估结果失真的问题，因此mape指标不能直接用来评估物理场关键性能点预测模型的准确性。
3、针对预测模型完备性量化评估，现有的技术方案通常采用神经元覆盖率指标来评估循环神经网络的rnn单元是否被激活，如果被激活，那么说明此单元发挥了作用。但是普通的rnn单元神经元覆盖率指标没有考虑时间序列的变化趋势信息，导致遗漏原本应该被激活的样本时刻，因此此种方法不能直接用来评估时间序列预测循环神经网络的完备性。
4、因此，亟需提供一种循环神
技术实现思路
1、(一)专利技术目的
2、本申请的目的是在现有循环神经网络模型评估方法的基础上，提出一种应用于高速运动体表面物理场的循环神经网络模型评估方法，从而实现循环神经网络模型准确性和完备性的评估，进而利于提升模型的精度和效率。
3、(二)技术方案
4、根据一些实施例，本专利技术的第一方面提供了一种循环神经网络模型评估方法，包括：根据循环神经网络模型的预测值与高速运动体表面物理场的真实值，计算预测值和真实值的训练误差，训练误差包含改进的平均绝对百分比误差，改进的平均绝对百分比误差的计算步骤包含将预置区间的预测值和真实值进行缩放变换，循环神经网络模型用于预测高速运动体表面物理场，缩放变换基于高速运动体表面物理场的分布；计算循环神经网络模型的单元覆盖率，单元覆盖率包含带有注意力机制权重的单元覆盖率；根据训练误差计算循环神经网络模型的训练损失，以迭代循环神经网络模型的训练；根据单元覆盖率，调整循环神经网络模型的神经元单元数量，以优化计算资源。
5、在一个实施例中，将预置区间的预测值和真实值进行缩放变换的步骤，包括：如果预测值或真实值小于1，将预测值或真实值进行指数映射。
6、在一个实施例中，训练误差，还包括：预测值和真实值的均方根误差、均方误差、平均绝对百分比误差及决定系数中的至少一个。
7、在一个实施例中，单元覆盖率，还包括：循环神经网络模型神经元覆盖率、k分神经元覆盖率、神经元边界覆盖率、强神经元覆盖率、top-k神经元覆盖率中的至少一个；其中，k分神经元覆盖率表示神经元输出值在最大值和最小值之间的k个分段内所覆盖的比例，top-k神经元覆盖率度量神经网络中每一层激活值最大的前k个神经元的数量。
8、在一个实施例中，带有注意力机制权重的单元覆盖率的计算步骤，包括：根据循环神经网络模型单元的隐藏状态向量，计算单元的信息增量；根据预测值随时间的变化量计算注意力权重；根据信息增量和注意力权重，计算带有注意力权重的信息增量；将带有注意力权重的信息增量与预置阈值比较，判断循环神经网络模型单元的激活状态；根据循环神经网络模型单元的激活状态和循环神经网络模型单元的数量，计算带有注意力机制权重的单元覆盖率。
9、根据一些实施例，本专利技术的第二方面提供了一种循环神经网络模型评估装置，包括：准确性评估模块，其用于根据循环神经网络模型的预测值与高速运动体表面物理场的真实值，计算预测值和真实值的训练误差，训练误差包含改进的平均绝对百分比误差，改进的平均绝对百分比误差的计算步骤包含将预置区间的预测值和真实值进行缩放变换，循环神经网络模型用于预测高速运动体表面物理场，缩放变换基于高速运动体表面物理场的分布；完备性评估模块，其用于计算循环神经网络模型的单元覆盖率，单元覆盖率包含带有注意力机制权重的单元覆盖率；训练模块，其用于根据训练误差计算循环神经网络模型的训练损失，以迭代循环神经网络模型的训练；优化模块，其用于根据单元覆盖率，调整循环神经网络模型的神经元单元数量，以优化计算资源。
10、在一个实施例中，准确性评估模块被进一步配置为：如果预测值或真实值小于1，将预测值或真实值进行指数映射。
11、在一个实施例中，准确性评估模块被进一步配置为：训练误差还包括，预测值和真实值的均方根误差、均方误差、平均绝对百分比误差及决定系数中的至少一个。
12、在一个实施例中，完备性评估模块被进一步配置为：单元覆盖率还包括，循环神经网络模型神经元覆盖率、k分神经元覆盖率、神经元边界覆盖率、强神经元覆盖率、top-k神经元覆盖率中的至少一个；其中，k分神经元覆盖率表示神经元输出值在最大值和最小值之间的k个分段内所覆盖的比例，top-k神经元覆盖率度量神经网络中每一层激活值最大的前k个神经元的数量。
13、在一个实施例中，完备性评估模块被进一步配置为：带有注意力机制权重的单元覆盖率的计算步骤包括，根据循环神经网络模型单元的隐藏状态向量，计算单元的信息增量；根据预测值随时间的变化量计算注意力权重；根据信息增量和注意力权重，计算带有注意力权重的信息增量；将带有注意力权重的信息增量与预置阈值比较，判断循环神经网络模型单元的激活状态；根据循环神经网络模型单元的激活状态和循环神经网络模型单元的数量，计算带有注意力机制权重的单元覆盖率。
14、根据一些实施例，本专利技术的第三方面提供了一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行存储器中的计算机程序，以实现本专利技术第一方面方法的步骤。
15、根据一些实施例，本专利技术的第四方面提供了一种存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本专利技术第一方面方法的步骤。
16、(三)有益效果
17、本专利技术的上述技术方案具有如下有益的技术效果：在高速运动体表面物理场预测领域，通过改进的平均绝对百分比误差进行循环神经网络模型的准确性评估，通过带有注意力机制权重的单元覆盖率进行循环神经网络模型的完备性评估；从而实现了适合于高速运动体表面物理场预测领域的模型评估，进而基于评估结果提高模型预测精度和效率。
18、应当理解的是，以上的一般描述和后文的细节描述仅本文档来自技高网...
【技术保护点】
1.一种循环神经网络模型评估方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，将所述预置区间的预测值和真实值进行缩放变换的步骤，包括：
3.根据权利要求1所述的方法，其特征在于，所述训练误差，还包括：所述预测值和真实值的均方根误差、均方误差、平均绝对百分比误差及决定系数中的至少一个。
4.根据权利要求1所述的方法，其特征在于，所述单元覆盖率，还包括：所述循环神经网络模型神经元覆盖率、K分神经元覆盖率、神经元边界覆盖率、强神经元覆盖率、Top-k神经元覆盖率中的至少一个；其中，所述K分神经元覆盖率表示神经元输出值在最大值和最小值之间的K个分段内所覆盖的比例，所述Top-k神经元覆盖率度量神经网络中每一层激活值最大的前k个神经元的数量。
5.根据权利要求1所述的方法，其特征在于，所述带有注意力机制权重的单元覆盖率的计算步骤，包括：
6.一种循环神经网络模型评估装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述准确性评估模块被进一步配置为：
8.根据权利要求6所述
9.根据权利要求6所述的装置，其特征在于，所述完备性评估模块被进一步配置为：所述单元覆盖率还包括，所述循环神经网络模型神经元覆盖率、K分神经元覆盖率、神经元边界覆盖率、强神经元覆盖率、Top-k神经元覆盖率中的至少一个；其中，所述K分神经元覆盖率表示神经元输出值在最大值和最小值之间的K个分段内所覆盖的比例，所述Top-k神经元覆盖率度量神经网络中每一层激活值最大的前k个神经元的数量。
10.根据权利要求6所述的装置，其特征在于，所述完备性评估模块被进一步配置为：所述带有注意力机制权重的单元覆盖率的计算步骤包括，根据所述循环神经网络模型单元的隐藏状态向量，计算所述单元的信息增量；
11.一种电子设备，其特征在于，包括：
12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1～5中任一项所述方法的步骤。
...【技术特征摘要】
1.一种循环神经网络模型评估方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，将所述预置区间的预测值和真实值进行缩放变换的步骤，包括：
3.根据权利要求1所述的方法，其特征在于，所述训练误差，还包括：所述预测值和真实值的均方根误差、均方误差、平均绝对百分比误差及决定系数中的至少一个。
4.根据权利要求1所述的方法，其特征在于，所述单元覆盖率，还包括：所述循环神经网络模型神经元覆盖率、k分神经元覆盖率、神经元边界覆盖率、强神经元覆盖率、top-k神经元覆盖率中的至少一个；其中，所述k分神经元覆盖率表示神经元输出值在最大值和最小值之间的k个分段内所覆盖的比例，所述top-k神经元覆盖率度量神经网络中每一层激活值最大的前k个神经元的数量。
5.根据权利要求1所述的方法，其特征在于，所述带有注意力机制权重的单元覆盖率的计算步骤，包括：
6.一种循环神经网络模型评估装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述准确性评估模块被进一步配置为：
8.根据权...
【专利技术属性】
技术研发人员：李晗，延渊渊，陈旭佳，朱金辉，范文慧，赵千川，
申请(专利权)人：启元实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。