一种预测神经网络模型性能的方法、装置及相关设备制造方法及图纸

本申请公开了一种预测神经网络模型性能的方法，具体的，获取神经网络模型以及能够运行该神经网络模型的第一硬件平台的配置信息，如算力配置、内存配置等，从而预测模型根据该第一硬件平台的配置信息对神经网络模型在第一硬件平台上运行的性能进行预测，并根据预测模型的预测得到第一预测结果。由于是根据第一硬件平台的配置信息对神经网络模型的性能进行预测，这使得所得到的第一预测结果更加贴合该神经网络模型在第一硬件平台上运行时的性能。如此，可以有效提高预测神经网络模型的性能的准确性，从而可以方便用户根据预测结果选择适合的硬件平台来部署该神经网络模型。此外，本申请还提供了对应的装置及相关设备。本申请还提供了对应的装置及相关设备。本申请还提供了对应的装置及相关设备。

【技术实现步骤摘要】
一种预测神经网络模型性能的方法、装置及相关设备


[0001]本申请涉及人工智能
，尤其涉及一种预测神经网络模型性能的方法、装置及相关设备。

技术介绍

[0002]目前，神经网络(neural networks，NN)作为人工智能(artificial intelligence，AI)领域的其中一个主流研究方向，广泛应用于计算机视觉、自然语言处理、数据搜索、信息推荐等众多场景中，通常可以利用神经网络模型输出符合用户预期的结果。
[0003]实际应用场景中，在将神经网络模型部署至硬件平台之前，可以先预测神经网络模型的性能是否能够在硬件平台上高效运行。比如，可以预测神经网络模型在运行过程中输出推理结果的时延是否低于预设阈值，并在预测神经网络模型的推理时延低于该阈值时将其部署至硬件平台。
[0004]但是，在将神经网络模型部署至硬件平台后，神经网络模型实际运行时的性能往往未达到预期，如神经网络模型的推理时延经常会大于预测的推理时延等，预测神经网络模型的性能的准确性较差。

技术实现思路

[0005]本申请实施例提供一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种预测神经网络模型性能的方法，其特征在于，所述方法包括：获取神经网络模型以及能够运行所述神经网络模型的第一硬件平台的配置信息；预测模型根据所述第一硬件平台的配置信息对所述神经网络模型在所述第一硬件平台上运行的性能进行预测；根据所述预测模型的预测，得到第一预测结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取能够运行所述神经网络模型的第二硬件平台的配置信息；所述预测模型根据所述第二硬件平台的配置信息对所述神经网络模型在所述第二硬件平台上运行的性能进行预测，得到第二预测结果。3.根据权利要求1或2所述的方法，其特征在于，所述预测模型根据所述第一硬件平台的配置信息对所述神经网络模型在所述第一硬件平台上运行的性能进行预测，包括：所述预测模型确定所述神经网络模型中用于预测所述性能的多个算子；所述预测模型根据所述第一硬件平台的配置信息分别对所述多个算子在所述第一硬件平台上运行的性能进行预测，得到所述多个算子的预测结果；所述根据所述预测模型的预测，得到第一预测结果包括：所述预测模型根据所述多个算子的预测结果得到所述第一预测结果。4.根据权利要求1或2所述的方法，其特征在于，在所述预测模型根据所述第一硬件平台的配置信息对所述神经网络模型在所述第一硬件平台上运行的性能进行预测之前，所述方法还包括：确定所述神经网络模型中用于预测所述性能的多个算子；所述预测模型根据所述第一硬件平台的配置信息对所述神经网络模型在所述第一硬件平台上运行的性能进行预测包括：所述预测模型根据所述第一硬件平台的配置信息分别对所述多个算子在所述第一硬件平台上运行的性能进行预测，得到所述多个算子的预测结果；所述根据所述预测模型的预测，得到第一预测结果包括：根据所述多个算子的预测结果得到所述第一预测结果。5.根据权利要求3或4所述的方法，其特征在于，所述预测模型包括多个子预测模型，每个子预测模型对应一个算子；所述预测模型根据所述第一硬件平台的配置信息分别对所述多个算子在所述第一硬件平台上运行的性能进行预测，得到所述多个算子的预测结果包括：确定所述多个算子中的第一算子对应的第一子预测模型以及所述第一算子的属性信息，所述第一算子为所述多个算子中的任意一个算子；输入所述配置信息以及所述属性信息至所述第一子预测模型；所述第一子预测模型预测所述第一算子的性能，得到所述第一算子的预测结果；对所述多个算子分别执行与所述第一算子同样的操作，得到所述多个算子的预测结果。6.根据权利要求3至5任一项所述的方法，其特征在于，所述确定所述神经网络模型中用于预测所述性能的多个算子，包括：获取所述第一硬件平台对应的算子配置文件，所述算子配置文件包括所述第一硬件平
台能够运行的算子之间的关系；根据所述算子配置文件确定所述多个算子。7.根据权利要求3至6任一项所述的方法，其特征在于，所述方法还包括：对所述预测模型所包括的多个子预测模型分别进行多次迭代训练，其中，第二子预测模型为所述多个子预测模型中的任意一个子预测模型，对于所述第二子预测模型的一次迭代训练过程包括：输入所述第二子预测模型对应的第二算子的属性信息、能够运行所述第二算子的至少一个硬件平台的配置信息以及所述第二算子在所述至少一个硬件平台上运行的性能参数至所述第二子预测模型；根据所述输入对所述第二子预测模型进行训练；其中，所述多次迭代训练中输入所述第二子预测模型的硬件平台的配置信息及所述第二算子在所述至少一个硬件平台上运行的性能参数存在差异。8.根据权利要求1至7任一项所述的方法，其特征在于，所述预测模型基于卷积神经网络进行构建。9.根据权利要求1至8任一项所述的方法，其特征在于，所述神经网络模型的性能，包括所述神经网络模型根据输入数据输出推理结果的耗时、或训练所述神经网络模型的耗时、或所述神经网络模型根据输入数据输出推理结果的能耗。10.一种预测神经...

【专利技术属性】
技术研发人员：林菁，袁熙昊，严一超，王兵，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：