一种性能信息获取方法、装置及存储介质制造方法及图纸

本发明专利技术实施例公开了一种性能信息获取方法、装置及存储介质，该方法包括：当获取到待评测模型时，基于预设模型结构，确定待评测模型的待评测模型结构信息，待评测模型为具有层次结构的模型；根据待评测模型结构信息，以及预设模型结构和评测模型的对应关系，确定对应的目标评测模型，预设模型结构和评测模型的对应关系用于根据模型结构确定用于对模型进行评测的评测模型，目标评测模型为具有时序性结构的模型；利用目标评测模型和预设评测数据对待评测模型进行评测，得到待评测模型的待评测模型性能信息。

【技术实现步骤摘要】
一种性能信息获取方法、装置及存储介质
本专利技术涉及计算机领域中的数据处理技术，尤其涉及一种性能信息获取方法、装置及存储介质。
技术介绍
在机器学习中，通常通过搭建模型，并基于大量训练数据对搭建的模型的参数进行调整，来获得能够实现预设功能的模型；然而在上述模型的获得过程中，不论是模型的搭建还是模型的训练，又或者是模型训练完成时，都需要对模型的性能进行评测。因此，如何对模型的性能进行评测是机器学习的重要组成部分。现有技术中，通常通过大量测试样本的采集和标注，并将采集的大量测试样本输入到待评测模型获得模型预测结果，以及将标注的大量测试样本与模型预测结果进行对比，来得到待评测模型的性能指标。然而，在上述利用大量的测试样本进行待评测模型的评测过程中，需进行大量测试样本的采集，由于受待评测模型的应用场景的影响，仅能获取到预设数量的测试样本，而利用预设数量的测试样本获得的待评测模型的性能指标无法准确地描述待评测模型的性能信息；因此，获取的待评测模型的性能信息的准确率低。
技术实现思路
为解决上述技术问题，本专利技术实施例本文档来自技高网...

【技术保护点】
1.一种性能信息获取方法，其特征在于，所述方法包括：/n当获取到待评测模型时，基于预设模型结构，确定所述待评测模型的待评测模型结构信息，所述待评测模型为具有层次结构的模型；/n根据所述待评测模型结构信息，以及预设模型结构和评测模型的对应关系，确定对应的目标评测模型，所述预设模型结构和评测模型的对应关系用于根据模型结构确定用于对模型进行评测的评测模型，所述目标评测模型为具有时序性结构的模型；/n利用所述目标评测模型和预设评测数据对所述待评测模型进行评测，得到所述待评测模型的待评测模型性能信息。/n

【技术特征摘要】
1.一种性能信息获取方法，其特征在于，所述方法包括：
当获取到待评测模型时，基于预设模型结构，确定所述待评测模型的待评测模型结构信息，所述待评测模型为具有层次结构的模型；
根据所述待评测模型结构信息，以及预设模型结构和评测模型的对应关系，确定对应的目标评测模型，所述预设模型结构和评测模型的对应关系用于根据模型结构确定用于对模型进行评测的评测模型，所述目标评测模型为具有时序性结构的模型；
利用所述目标评测模型和预设评测数据对所述待评测模型进行评测，得到所述待评测模型的待评测模型性能信息。


2.根据权利要求1所述的方法，其特征在于，所述根据所述待评测模型结构信息，以及预设模型结构和评测模型的对应关系，确定对应的目标评测模型之前，所述方法还包括：
获取所述预设模型结构中每类模型结构的模型样本；
构建所述模型样本中每个样本模型在对应的评测样本数据下的样本特征池，从而得到所述模型样本的样本特征池集合；
利用预设训练模型，对所述样本特征池集合和所述模型样本的样本性能信息集合进行训练，得到所述每类模型结构对应的评测模型，从而得到所述预设模型结构和评测模型的对应关系。


3.根据权利要求2所述的方法，其特征在于，所述构建所述模型样本中每个样本模型在对应的评测样本数据下的样本特征池，包括：
在所述每个样本模型对应的评测样本数据下，获取每个样本层的样本模型参数、样本模型权重分布和样本模型输出特征图；
将所述样本模型参数、所述样本模型权重分布和所述样本模型输出特征图构建为所述每个样本层的子样本特征池，从而得到所述每个样本模型的所述样本特征池。


4.根据权利要求1所述的方法，其特征在于，所述利用所述目标评测模型和预设评测数据对所述待评测模型进行评测，得到所述待评测模型的待评测模型性能信息，包括：
在所述预设评测数据下，获取所述待评测模型每个待评测层的待评测模型参数、待评测模型权重分布和待评测模型输出特征图；
将所述待评测模型参数、所述待评测模型权重分布和所述待评测模型输出特征图构建为所述每个待评测层的子待评测特征池，从而得到所述待评测模型的待评测特征池；
将所述待评测特征池输入至所述目标评测模型，得到所述待评测模型的所述待评测模...

【专利技术属性】
技术研发人员：赖荣凤，余京蕾，梅涛，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11