深度学习算法的测试方法、装置、电子装置和存储介质制造方法及图纸

本申请涉及一种深度学习算法的测试方法、装置、电子装置和存储介质。其中，该深度学习算法的测试方法包括：获取待测的深度学习算法的测试集，其中，测试集包括多个测试数据，每个测试数据包括测试样本和测试标签；根据各测试标签确定各测试样本对应的标准结果；将各测试样本的测试任务并行下发到部署有待测的深度学习算法的数据计算集群，并获取数据计算集群返回的各测试样本的测试任务的执行结果，其中，执行结果包括待测的深度学习算法对应的测试样本的预测结果；根据各测试样本的标准结果和预测结果，获取待测的深度学习算法的测试结果。通过本申请，解决了相关技术中在深度学习算法的测试过程存在资源利用率低的问题，提高了资源利用率。了资源利用率。了资源利用率。

【技术实现步骤摘要】
深度学习算法的测试方法、装置、电子装置和存储介质


[0001]本申请涉及深度学习算法领域，特别是涉及深度学习算法的测试方法、装置、电子装置和存储介质。

技术介绍

[0002]深度学习算法在工业界受到了广泛关注和应用，目前在算法效果的测试方法中，存在着一定程度的手工依赖性以及测试过程缺乏系统管理等问题，对算法结构和参数进行优化过程中，无法避免算法在数据集上进行大量训练和测试，这些准备数据集、统计测试结果的工作，占据了大量时间，严重影响了算法人员的工作效率。
[0003]在相关技术中，通过设置一定数量的测试任务队列，为每个测试任务队列指定可入列测试任务的优先级范围；根据优先级所处范围将测试任务添加到相应的测试任务队列中的方式，保证了测试任务调度的公平性和有序性，并提高了测试任务队列组织的效率，可支持测试任务的串行调度和并行调度。然而，在研究过程中发现，上述方式是基于测试任务运行时间来实现优先级调度，没有考虑每个测试任务是否可以进一步细粒度划分，在数据量较大时，数据的读写会占用较多时间，造成GPU服务器、嵌入式设备等稀缺资源长时间处于空闲。
[0004]针对相关技术中深度学习算法的测试过程存在资源利用率低的问题，目前还没有提出有效的解决方案。

技术实现思路

[0005]在本实施例中提供了一种深度学习算法的测试方法、装置、电子装置和存储介质，以解决相关技术中深度学习算法的测试过程存在资源利用率低的问题。
[0006]第一个方面，在本实施例中提供了一种深度学习算法的测试方法，包括：/>[0007]获取待测的深度学习算法的测试集，其中，所述测试集包括多个测试数据，每个测试数据包括测试样本和测试标签；
[0008]根据各所述测试标签确定各测试样本对应的标准结果；
[0009]将各测试样本的测试任务并行下发到部署有所述待测的深度学习算法的数据计算集群，并获取所述数据计算集群返回的各测试样本的测试任务的执行结果，其中，所述执行结果包括所述待测的深度学习算法对应的测试样本的预测结果；
[0010]根据各所述测试样本的所述标准结果和所述预测结果，获取所述待测的深度学习算法的测试结果。
[0011]在其中的一些实施例中，在根据各所述测试标签确定各测试样本对应的标准结果之后，所述方法还包括：
[0012]将各所述测试样本的所述标准结果的数据格式并行转换成与所述测试结果相同的数据格式。
[0013]在其中的一些实施例中，将各测试样本的测试任务并行下发到部署有所述待测的
深度学习算法的数据计算集群，并获取所述数据计算集群返回的各测试样本的测试任务的执行结果包括：
[0014]通过所述计算集群将各所述测试样本的测试任务并行下发到各所述测试样本所对应的worker节点，并获取所述执行结果。
[0015]在其中的一些实施例中，通过所述计算集群将各所述测试样本的测试任务并行下发到各所述测试样本所对应的worker节点，并获取所述执行结果包括：
[0016]通过所述计算集群获取正处于空闲状态的work节点；
[0017]通过所述计算集群基于EDF调度方式将各所述测试样本的测试任务并行下发到与各所述测试样本一一对应的正处于空闲状态下的所述worker节点，并获取所述执行结果。
[0018]在其中的一些实施例中，所述方法还包括：
[0019]在当前测试样本的所述标准结果或所述预测结果获取失败的情况下，停止对所述当前测试样本的测试。
[0020]在其中的一些实施例中，根据各所述测试样本的所述标准结果和所述预测结果，获取所述待测的深度学习算法的测试结果包括：
[0021]将各所述测试样本的所述标准结果和所述预测结果进行比对，并行生成各所述测试样本的测试比对结果；
[0022]根据各所述测试样本的测试比对结果和预设测试报告模板，并行生成所述待测的深度学习算法的测试结果。
[0023]在其中的一些实施例中，所述预设测试报告模板包括多条测试数据，每条测试数据对应于一个测试样本，所述测试数据包括对应的测试样本的多维属性项及测试结果；在生成所述待测的深度学习算法的测试结果之后，所述方法还包括：
[0024]根据所述多维属性项对各所述测试样本的预测成功率进行统计，获得与各属性项对应的预测成功率的统计结果，以确定所述待测的深度学习算法在各属性项下的预测表现。
[0025]在其中的一些实施例中，在获得与各属性项对应的预测成功率的统计结果之后，所述方法还包括：
[0026]可视化与各属性项对应的预测成功率的统计结果。
[0027]第二个方面，在本实施例中提供了一种深度学习算法的测试装置，包括：
[0028]第一获取模块，用于获取待测的深度学习算法的测试集，其中，所述测试集包括多个测试数据，每个测试数据包括测试样本和测试标签；
[0029]确定模块，用于根据各所述测试标签确定各测试样本对应的标准结果；
[0030]第二获取模块，用于将各测试样本的测试任务并行下发到部署有所述待测的深度学习算法的数据计算集群，并获取所述数据计算集群返回的各测试样本的测试任务的执行结果，其中，所述执行结果包括所述待测的深度学习算法对应的测试样本的预测结果；
[0031]第三获取模块，用于根据各所述测试样本的所述标准结果和所述预测结果，获取所述待测的深度学习算法的测试结果。
[0032]第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的深度学习算法的测试方法。
[0033]第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的深度学习算法的测试方法。
[0034]与相关技术相比，在本实施例中深度学习算法的测试方法、装置、电子装置和存储介质，通过获取待测的深度学习算法的测试集，其中，测试集包括多个测试数据，每个测试数据包括测试样本和测试标签；根据各测试标签确定各测试样本对应的标准结果；将各测试样本的测试任务并行下发到部署有待测的深度学习算法的数据计算集群，并获取数据计算集群返回的各测试样本的测试任务的执行结果，其中，执行结果包括待测的深度学习算法对应的测试样本的预测结果；根据各测试样本的标准结果和预测结果，获取待测的深度学习算法的测试结果的方式，解决了相关技术中在深度学习算法的测试过程存在资源利用率低的问题，提高了资源利用率。
[0035]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0036]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0037]图1是本实施例的深度学习算法的测试方法的终端的硬本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习算法的测试方法，其特征在于，包括：获取待测的深度学习算法的测试集，其中，所述测试集包括多个测试数据，每个测试数据包括测试样本和测试标签；根据各所述测试标签确定各测试样本对应的标准结果；将各测试样本的测试任务并行下发到部署有所述待测的深度学习算法的数据计算集群，并获取所述数据计算集群返回的各测试样本的测试任务的执行结果，其中，所述执行结果包括所述待测的深度学习算法对应的测试样本的预测结果；根据各所述测试样本的所述标准结果和所述预测结果，获取所述待测的深度学习算法的测试结果。2.根据权利要求1所述的深度学习算法的测试方法，其特征在于，在根据各所述测试标签确定各测试样本对应的标准结果之后，所述方法还包括：将各所述测试样本的所述标准结果的数据格式并行转换成与所述测试结果相同的数据格式。3.根据权利要求1所述的深度学习算法的测试方法，其特征在于，将各测试样本的测试任务并行下发到部署有所述待测的深度学习算法的数据计算集群，并获取所述数据计算集群返回的各测试样本的测试任务的执行结果包括：通过所述计算集群将各所述测试样本的测试任务并行下发到各所述测试样本所对应的worker节点，并获取所述执行结果。4.根据权利要求3所述的深度学习算法的测试方法，其特征在于，通过所述计算集群将各所述测试样本的测试任务并行下发到各所述测试样本所对应的worker节点，并获取所述执行结果包括：通过所述计算集群获取正处于空闲状态的work节点；通过所述计算集群基于EDF调度方式将各所述测试样本的测试任务并行下发到与各所述测试样本一一对应的正处于空闲状态下的所述worker节点，并获取所述执行结果。5.根据权利要求1所述的深度学习算法的测试方法，其特征在于，所述方法还包括：在当前测试样本的所述标准结果或所述预测结果获取失败的情况下，停止对所述当前测试样本的测试。6.根据权利要求1所述的深度学习算法的测试方法，其特征在于，根据各所述测试样本的所述标准结果和所述预测结果，获取所述待测的深度...

【专利技术属性】
技术研发人员：何为，陈艳支，姚国勤，唐贝贝，吴立，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：