模型评估的方法及相关装置制造方法及图纸

本申请公开了一种模型评估的方法及相关装置。该模型评估的方法包括：获得多个候选训练模型，其中，所述多个候选训练模型为初始模型在多个不同迭代周期的训练结果；利用目标平台的模型转换参数，将每个候选训练模型转换成候选目标模型，得到多个所述候选目标模型；让所述目标平台的设备利用每个所述候选目标模型对素材数据进行处理，得到多个所述候选目标模型对所述素材数据的验证结果，以基于所述验证结果筛选出用于部署到所述目标平台的最优候选目标模型。本申请可以通过目标平台的设备的运行情况选择出符合目标平台的设备的最优模型，可以提升模型在目标平台的设备上的部署效果。效果。效果。

【技术实现步骤摘要】
模型评估的方法及相关装置


[0001]本申请涉及深度学习
，特别是涉及一种模型评估的方法及相关装置。

技术介绍

[0002]目前，将神经网络算法应用到电子设备上，须先将训练好的神经网络模型转换为目标电子设备平台的模型，然后将模型部署到目标电子设备，才能使用神经网络算法进行推理工作。然而，转换后神经网络模型的推理效果往往不能完全与原始的神经网络模型推理效果一致，从而很难保证模型在目标电子设备上的部署效果。

技术实现思路

[0003]本申请提供一种模型评估的方法及相关装置，可以通过目标平台的设备的运行情况选择出符合目标平台的设备的最优模型，可以提升模型在目标平台的设备上的部署效果。
[0004]为达到上述目的，本申请提供一种模型评估的方法，该方法包括：获得多个候选训练模型，其中，所述多个候选训练模型为初始模型在多个不同迭代周期的训练结果；利用目标平台的模型转换参数，将每个候选训练模型转换成候选目标模型，得到多个所述候选目标模型；让所述目标平台的设备利用每个所述候选目标模型对素材数据进行处理，得到多个所述候选目标模型对所述素材数据的验证结果，以基于所述验证结果筛选出用于部署到所述目标平台的最优候选目标模型。
[0005]为达到上述目的，本申请提供一种模型评估的方法，该方法包括：目标平台的设备获得多个候选目标模型，其中，所述多个候选目标模型是利用目标平台的模型转换参数将多个候选训练模型转换得到的，所述多个候选训练模型为初始模型在多个不同迭代周期的训练结果；利用每个所述候选目标模型对素材数据进行处理，得到多个所述候选目标模型对所述素材数据的验证结果，以基于所述验证结果筛选出用于部署到所述目标平台的最优候选目标模型。
[0006]为达到上述目的，本申请提供一种电子设备，该电子设备包括处理器；所述处理器用于执行指令以实现上述方法的步骤。
[0007]为达到上述目的，本申请还提供一种计算机可读存储介质，其用于存储指令/程序数据，指令/程序数据能够被执行以实现上述方法。
[0008]本申请模型评估的方法将多个候选训练模型，利用目标平台的模型转换参数转换成多个候选目标模型，其中，多个候选训练模型为初始模型在多个不同迭代周期的训练结果；且让目标平台的设备运行每个候选目标模型对素材数据进行处理，得到多个候选目标模型对素材数据的验证结果，以筛选出用于部署到目标平台的最优候选目标模型，从而通
过目标平台的设备运行由多个候选训练模型转换而成的多个候选目标平台的设备，以基于运行结果从多个候选目标平台的设备中筛选出用于部署到目标平台的最优候选目标模型；在同一神经网络迭代训练时不同迭代周期生成的多个模型，在训练环境表现的效果优劣排序，与这几个模型在某个目标平台的设备上表现的效果优劣排序不一致的情况下，能够通过目标平台的设备的运行情况选择出符合目标平台的设备的最优模型，可以提升模型在目标平台的设备上的部署效果。
附图说明
[0009]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是本申请模型评估系统的示意图；图2是本申请模型评估的方法一实施方式的流程示意图；图3是本申请模型评估的方法中模型分发一实施方式的流程示意图；图4是本申请模型评估的方法另一实施方式的流程示意图；图5是本申请模型评估的方法中模型转换一实施方式的流程示意图；图6是本申请模型评估的方法中可执行程序编译一实施方式的流程示意图；图7是本申请模型评估的方法中验证结果核对一实施方式的流程示意图；图8是本申请电子设备一实施方式的结构示意图；图9是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
[0010]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，除非另外指明(例如，“或另外”或“或在替代方案中”)，否则如本文所使用的术语“或”指代非排他性的“或”(即，“和/或”)。并且，本文所描述的各种实施例不一定相互排斥，因为一些实施例可以与一个或多个其它实施例组合以形成新的实施例。
[0011]随着人工智能的飞速发展，各种平台层出不穷，主要有IOS、Linux、Android、Windows、树莓派等平台。在算法开发到算法部署的过程中，可能需要用到不同的平台，例如使用Windows进行算法开发和调试，而在部署阶段，由于硬件和部署软件的限制，可能需要转化成IOS模型进行适配。在训练设备和部署设备（即目标平台的设备）使用的平台不同时，就需要进行模型的转换，具体可利用目标平台的模型转换参数将源网络转换为目标平台的模型。并且同一神经网络迭代训练时不同迭代周期生成的多个模型，在训练环境表现的效果优劣排序，与这几个模型在其他平台的设备上表现的效果优劣排序，也并非完全一致。
[0012]基于此，本申请提出一种模型评估方法，该方法将多个候选训练模型，利用目标平台的模型转换参数转换成多个所述候选目标模型，其中，多个候选训练模型为初始模型在多个不同迭代周期的训练结果；且让所述目标平台的设备运行每个所述候选目标模型对所述素材数据进行处理，得到多个所述候选目标模型对所述素材数据的验证结果，以筛选出
用于部署到所述目标平台的最优候选目标模型，从而通过目标平台的设备运行由多个候选训练模型转换而成的多个候选目标平台的设备，以基于运行结果从多个候选目标平台的设备中筛选出用于部署到所述目标平台的最优候选目标模型；在同一神经网络迭代训练时不同迭代周期生成的多个模型，在训练环境表现的效果优劣排序，与这几个模型在某个目标平台的设备上表现的效果优劣排序不一致的情况下，能够通过目标平台的设备的运行情况选择出符合目标平台的设备的最优模型，可以提升模型在目标平台的设备上的部署效果。
[0013]本申请提供一个模型评估系统，如图1所示，该模型评估系统可包括模型转换模块和验证任务调度模块。
[0014]其中，模型转换模块用于读取训练模型文件和目标平台的模型转换参数，以基于目标平台的模型转换参数将相应训练模型转换为目标平台的模型。
[0015]而验证任务调度模块用于让目标平台的设备运行每个所述候选目标模型对所述素材数据进行处理，得到多个所述候选目标模型对所述素材数据的验证结果，以筛选出用于部署到所述目标平台的设备的最优候选目标模型。进一步地，验证任务调度模块可以根据目标平台的模型对应的目标平台信息，查找对应平台的硬件设备，将目标平台的模型传输到平台信息匹配的硬件设备上；并在相应硬件设备上运行每个所述候选目标模型对所述素材数据进行处理。
[0016]此外，模型评估系统还可包括模型验证软件包生成模块。其中，模型验证软件包生成模块将目标平台的模型（例如候选目标模型）、推理程序基础编译命令和素材数据进行处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型评估方法，其特征在于，所述方法还包括：获得多个候选训练模型，其中，所述多个候选训练模型为初始模型在多个不同迭代周期的训练结果；利用目标平台的模型转换参数，将每个候选训练模型转换成候选目标模型，得到多个所述候选目标模型；让所述目标平台的设备利用每个所述候选目标模型对素材数据进行处理，得到多个所述候选目标模型对所述素材数据的验证结果，以基于所述验证结果筛选出用于部署到所述目标平台的最优候选目标模型。2.根据权利要求1所述的模型评估方法，其特征在于，所述让所述目标平台的设备利用每个所述候选目标模型对素材数据进行处理，得到多个所述候选目标模型对所述素材数据的验证结果，包括：在设备集群中查找平台信息符合且处于空闲状态的至少一个设备，将多个所述候选目标模型发送给所述至少一个设备，以让所述至少一个设备利用每个所述候选目标模型对所述素材数据进行处理，得到多个所述候选目标模型对所述素材数据的验证结果。3.根据权利要求1所述的模型评估方法，其特征在于，所述让所述目标平台的设备利用每个所述候选目标模型对素材数据进行处理，之前包括：获取可执行程序基础编译命令；基于所述可执行程序基础编译命令和所述目标平台的参数，确定出运行所述候选目标模型的可执行程序；将所述可执行程序和多个所述候选目标模型分发给所述目标平台的至少一个设备，以让所述至少一个设备启动所述可执行程序而利用每个所述候选目标模型对所述素材数据进行处理。4.根据权利要求3所述的模型评估方法，其特征在于，所述基于所述可执行程序基础编译命令和所述目标平台的参数，确定出所述可执行程序，包括：向编译服务器发送编译请求，所述编译请求中携带所述可执行程序基础编译命令和所述目标平台的参数，以使所述编译服务器响应于所述编译请求基于所述可执行程序基础编译命令和所述目标平台的参数编译生成所述可执行程序；从所述编译服务器获取所述可执行程序。5.根据权利要求3所述的模型评估方法，其特征在于，所述确定出运行所述候选目标模型的可执行程序，之后包括：将所述可执行程序、所述素材数据和每个所述候选目标模型组装成软件包，得到多个所述软件包；...

【专利技术属性】
技术研发人员：金恒，叶美倩，吴立，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：