一种推理引擎的测试方法、电子设备及存储介质技术

本申请公开了一种推理引擎的测试方法、电子设备及存储介质，能够在目标硬件加速器上对推理引擎进行性能测试。其中，推理引擎的测试方法包括：电子设备接收输入的测试资源以及目标硬件加速器的标识；当基于目标硬件加速器的标识确定目标硬件加速器处于可用状态时，电子设备的处理器创建针对推理引擎的测试任务，并将测试任务以及测试资源分配给目标硬件加速器；当确定目标硬件加速器基于测试资源执行测试任务完成后，电子设备的处理器输出针对推理引擎的测试结果，测试结果至少包括目标硬件加速器执行测试任务的实际总时长。速器执行测试任务的实际总时长。速器执行测试任务的实际总时长。

【技术实现步骤摘要】
一种推理引擎的测试方法、电子设备及存储介质


[0001]本申请实施例涉及测试
，尤其涉及一种推理引擎的测试方法、电子设备及存储介质。

技术介绍

[0002]随着终端算力的不断提升，以及深度学习的快速发展，特别是小网络模型不断成熟，原本在云端执行的推理预测就可以转移到终端上来做。终端智能即在终端侧部署运行人工智能(Artificial Intelligence，AI)算法，相比服务端智能，终端智能具有低延时、兼顾数据隐私、节省云端资源等优势。
[0003]推理引擎的主要功能涵盖终端侧深度神经网络模型的加载、编译优化以及推理，而现有技术中推理引擎默认仅在处理器中运行，从而导致无法在除处理器以外的其他硬件加速器上对推理引擎进行性能测试。

技术实现思路

[0004]本申请实施例提供了一种推理引擎的测试方法、电子设备及存储介质，能够在除处理器以外的硬件加速器上对推理引擎进行性能测试。
[0005]第一方面，本申请实施例提供了一种推理引擎的测试方法，应用于电子设备，所述电子设备设置有处理器和至少一个硬件加速器，所述处理器运行有所述推理引擎，所述方法包括：
[0006]所述电子设备接收输入的测试资源以及目标硬件加速器的标识；
[0007]当基于所述目标硬件加速器的标识确定所述目标硬件加速器处于可用状态时，所述电子设备的处理器创建针对所述推理引擎的测试任务，并将所述测试任务以及所述测试资源分配给所述目标硬件加速器；
[0008]当确定所述目标硬件加速器基于所述测试资源执行所述测试任务完成后，所述电子设备的处理器输出针对所述推理引擎的测试结果，所述测试结果至少包括所述目标硬件加速器基于所述推理引擎执行所述测试任务的实际总时长。
[0009]本申请实施例中，运行有推理引擎的处理器可以接收输入的测试资源以及目标硬件加速器的标识，然后根据目标硬件加速器的标识确定目标硬件加速器是否处于可用状态。若目标硬件加速器处于可用状态，则创建针对推理引擎的测试任务，并将所创建的测试任务以及测试资源分配给上述目标硬件加速器。当目标硬件加速器基于测试资源完成测试任务后，处理器可以输出针对推理引擎的测试结果，该测试结果中至少包括有目标硬件加速器基于推理引擎执行测试任务的实际总时长。该方法中，处理器可以根据用户指定的目标硬件加速器，将针对推理引擎的测试任务以及测试资源分配给目标硬件加速器，从而可以输出目标硬件加速器对推理引擎的测试结果，从而有利于对目标硬件加速器和/或推理引擎的性能进行针对性优化。
[0010]可选的，所述测试资源至少包括测试数据类型以及测试数据的形状信息，在将所
述测试资源分配给所述目标硬件加速器之前，所述方法还包括：
[0011]当确定所述测试数据类型为图像时，所述电子设备的处理器基于所述形状信息随机生成所述测试数据。
[0012]本申请实施例中，当测试数据类型为图像时，可以基于测试数据的形状信息随机生成符合测试需求的测试数据，从而无需人工预先对测试数据进行大量预处理。
[0013]可选的，所述形状信息包括目标长度、目标宽度以及目标通道数，所述电子设备的处理器基于所述形状信息随机生成所述测试数据包括：
[0014]所述电子设备的处理器基于所述目标长度、所述目标宽度以及所述目标通道数随机生成测试图像。
[0015]本申请实施例中，可以根据测试数据的形状信息中所包括的目标长度、目标宽度以及目标通道数，准确且快速生成测试所需的测试图像。
[0016]可选的，所述测试资源至少包括测试数据类型以及测试数据的形状信息，在将所述测试资源分配给所述目标硬件加速器之前，所述方法还包括：
[0017]当确定所述测试数据类型为音频时，所述电子设备的处理器基于所述测试数据的形状信息随机生成所述测试数据。
[0018]本申请实施例中，当测试数据类型为音频时，可以基于测试数据的形状信息随机生成符合测试需求的测试数据，从而无需人工预先对测试数据进行大量预处理。
[0019]可选的，所述形状信息包括目标时长、目标幅度以及目标频率，所述电子设备的处理器基于所述测试数据的形状信息随机生成所述测试数据包括：
[0020]所述电子设备的处理器基于所述目标时长、所述目标幅度以及所述目标频率生成测试音频。
[0021]本申请实施例中，可以根据测试数据的形状信息中所包括的目标时长、目标幅度以及目标音频，准确且快速生成测试所需的测试音频。
[0022]可选的，所述测试结果还包括所述目标硬件加速器基于所述推理引擎执行所述测试任务时加载所述测试资源的第一时长、编译所述测试资源的第二时长以及推理所述测试任务的任务结果对应的第三时长。
[0023]本申请实施例中，测试结果中包括目标硬件加速器基于推理引擎执行测试任务时加载测试资源的第一时长、编译测试资源时的第二时长以及推理测试任务的任务结果时的第三时长，从而有利于从不同的阶段对推理引擎以及目标硬件加速器进行优化。
[0024]可选的，所述测试结果还包括所述目标硬件加速器基于所述测试资源执行所述测试任务的任务结果。
[0025]本申请实施例中，测试结果中还包括目标硬件加速器基于测试资源执行对应测试任务时的任务结果，从而实现在特定硬件加速器上对推理引擎的推理精度进行测试。
[0026]可选的，所述测试资源包括所述目标硬件加速器基于所述测试资源执行所述测试任务时的目标总时长，当确定所述目标硬件加速器基于所述测试资源执行所述测试任务完成后，所述方法还包括：
[0027]若确定所述实际总时长大于所述目标总时长，则所述电子设备的处理器输出提示信息，所述提示信息用于提示对所述目标硬件加速器和/或所述推理引擎进行优化。
[0028]本申请实施例中，若目标硬件加速器基于推理引擎以及测试资源执行测试任务的
实际总时长大于目标总时长，则输出提示信息，该提示信息用于提示对目标硬件加速器以及推理引擎进行优化。
[0029]可选的，所述方法还包括：
[0030]所述电子设备接收输入的所述测试资源以及至少两个目标硬件加速器的标识；
[0031]当基于所述至少两个目标硬件加速器的标识确定所述至少两个目标硬件加速器均处于可用状态时，所述电子设备的处理器创建针对所述推理引擎的至少两个测试任务，并将所述测试资源分以及所述至少两个测试任务中各测试任务分别分配给所述至少两个目标硬件加速器各目标硬件加速器；
[0032]当确定各目标硬件加速器基于所述测试资源执行对应的测试任务均完成后，所述电子设备的处理器输出针对所述推理引擎的至少两个测试结果，所述至少两个测试结果中各测试结果至少包括各目标硬件加速器基于所述推理引擎执行对应测试任务的实际总时长。
[0033]本申请实施例中，可以同时指定多个特定硬件加速器来对推理引擎的性能进行测试，从而获知各个特定硬件加速器对推理引擎的测试结果，有利于对多个特定硬件加速器和/或推理引擎的性能进行针对性优化。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种推理引擎的测试方法，其特征在于，应用电子设备，所述电子设备设置有处理器和至少一个硬件加速器，所述处理器运行有所述推理引擎，所述方法包括：所述电子设备接收输入的测试资源以及目标硬件加速器的标识；当基于所述目标硬件加速器的标识确定所述目标硬件加速器处于可用状态时，所述电子设备的处理器创建针对所述推理引擎的测试任务，并将所述测试任务以及所述测试资源分配给所述目标硬件加速器；当确定所述目标硬件加速器基于所述测试资源执行所述测试任务完成后，所述电子设备的处理器输出针对所述推理引擎的测试结果，所述测试结果至少包括所述目标硬件加速器基于所述推理引擎执行所述测试任务的实际总时长。2.根据权利要求1所述的方法，其特征在于，所述测试资源至少包括测试数据类型以及测试数据的形状信息，在将所述测试资源分配给所述目标硬件加速器之前，所述方法还包括：当确定所述测试数据类型为图像时，所述电子设备的处理器基于所述形状信息随机生成所述测试数据。3.根据权利要求2所述的方法，其特征在于，所述形状信息包括目标长度、目标宽度以及目标通道数，所述电子设备的处理器基于所述形状信息随机生成所述测试数据包括：所述电子设备的处理器基于所述目标长度、所述目标宽度以及所述目标通道数随机生成测试图像。4.根据权利要求1所述的方法，其特征在于，所述测试资源至少包括测试数据类型以及测试数据的形状信息，在将所述测试资源分配给所述目标硬件加速器之前，所述方法还包括：当确定所述测试数据类型为音频时，所述电子设备的处理器基于所述测试数据的形状信息随机生成所述测试数据。5.根据权利要求4所述的方法，其特征在于，所述形状信息包括目标时长、目标幅度以及目标频率，所述电子设备的处理器基于所述测试数据的形状信息随机生成所述测试数据包括：所述电子设备的处理器基于所述目标时长、所述目标幅度以及所述目标频率生成测试音频。6.根据权利要求1所述的方法，其特征在于，所述测试结果还包括所述目标硬件加速器基于所述推理引擎执行所述测试任务时加载所述测试资源的第一时长、编译所述测试资源的第二时长以及推理所述测试任务的任务结果对应的第三时长。7.根据权利要求1所述的方法，其特征在于，所述测试结果还包括所述目标硬件加速器基于所述测试资源执行所述测试任务的任务结果。8.根据权利要求1所述的方法，其特征在于，所述测试资源包括所述目标硬件加速器基于所述测试资源执行所述测试任务时的目标总时长，当确定所述目标硬件加速器基于所述测试资源执行所述测试任务完成后，所述方法还包括：若确定所述实际总时长大于所述目标总时长，则所述电子设备的处理器输出提示信息，所述提示信息用于提示对所述目标硬件加速器和/或所述推理引擎进行优化。9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述电子设备接收输入的所述测试资源以及至少两个目标硬件加速器的标识；当基于所述至少两个目标硬件加速器的标识确定所述至少两个目标硬件加速器均处于可用状态时，所述电子设备的处理器创建针对所述推理引擎的至少两个测试任务，并将所述测试资源分以及所述至少两个测试任务中各测试任务分别分配给所述至少两个目标硬件加速器各目标硬件加速器；当确定各目标硬件加速器基于所述测试资源执行对应的测试任务均完成后，所述电子设备的处理器输出针对所述推理引擎的至少两个测试结果，所述至少两个测试结果中各测试结果至少包括各目标硬件加速器基于所述推理引擎执行对应测试任务的实际总时长。10.一种电子设备，其特征在于，所述电子设备设置有至少一个硬件加速器，所述电子设备运行有推理引擎，所述电子设备包括：接收单元，用于接收输入的测试资源以及目标硬件加速器的标识；处理单元，用于当基于所述目标硬件加速器的标识确定所述目标硬件加速器处于可用状态时，创建针对所述推理引擎的测试...

【专利技术属性】
技术研发人员：梁秀娟，
申请(专利权)人：展讯通信上海有限公司，
类型：发明
国别省市：