模型训练方法、系统、芯片、电子设备及介质技术方案

模型训练方法、系统、芯片、电子设备及介质，方法为：在预设的基础神经网络上训练一组模型，选出在验证集上性能最好的模型T0；在T0上进行优化然后获得若干备选实验配置，对所述若干备选实验配置训练并获得其中性能最优的模型T1’；对T1’重新训练，确保重新训练的性能结果的平均值大于T0的性能；即得到最优的模型配置。本发明专利技术能将训练出来的模型自动转换为caffe或TF pb或其他常用模型格式，并且自动验证是否能在相应希望部署的硬件平台上部署的方法，并能够自动做一些优化。

Model training methods, systems, chips, electronic devices and media

【技术实现步骤摘要】
模型训练方法、系统、芯片、电子设备及介质
本专利技术涉及计算机数据处理系统和方法，具体地说是一种模型训练方法、系统、芯片、电子设备及介质。
技术介绍
目前现有的人工智能（AI）研发系统的实质是提供软件的数据库，使用上需要用户有一定编程背景；若要获得好的计算模型，则需要用户自己进行参数调整和选择，因而还需有相关深度学习优化知识。同时，现有的人工智能（AI）研发系统一般只能支持单一用户单一任务，而在多用户情况下只能手动分配各种资源，计算资源利用率差。而在人工智能（AI）研发系统中，现有的训练工具一般只支持将在数据输入后，单纯地通过预设的模型进行训练，在面对新任务的时候往往效果不佳。而若需对模型进行优化，则也需要有相关模型优化的知识，并且手动设计并编程实现优化——使得其用户范围较窄。而现有的其他自动模型优化算法，一般通过RNN等方法自动设计网络模型，这种方法过程较慢、可并行性差，同时必须要大量数据；对于数据量中等、计算资源较小的情形缺并不适用。此外，应用系统部署和运行在云平台上来对外提供服务。目前在模型部署环节，针对部署的环境和目标格式，需要手动编写转换代码进行转换；并且不能验证是否失败，需要手动编写测试脚本测试，十分繁琐，切要耗费大量时间。
技术实现思路
本专利技术针对上述人工智能研发系统的不足，旨在提供一种适用于模型优化部署系统的模型训练方法、系统、芯片、电子设备及介质，以解决现有问题。为了达到上述目的，本专利技术提供一种模型优化部署系统，包括：数据预处理模块，接受回流数据，然后输出经过预处理的数据集；模型训练模块，对数据集执行模型训练优化方法，得到最优配置模型；模型部署模块，根据待部署的硬件的环境对最优配置模型进行适配并转换，最终部署于所述硬件。在一些实施例中，还包括数据标注模块，对辅助进行数据标注。在一些实施例中，还包括存储模块，执行整个系统数据的统一存储。本专利技术还提供基于上述模型优化部署系统的模型训练方法，包括：S1，在预设的基础神经网络上训练一组模型，选出在验证集上性能最好的模型T0；S2,在T0上进行优化然后获得若干备选实验配置，对所述若干备选实验配置训练并获得其中性能最优的模型T1’；S3,对T1’重新训练，确保重新训练的性能结果的平均值大于T0的性能；即得到最优的模型配置。在一些实施例中，S2中，所述在T0上进行优化的方法为调整参数。在一些实施例中，所述调整的参数包括以下之一或组合：模型宽度，学习速率，优化策略，是否使用数据增强，数据增强的参数，网络单位模块。在一些实施例中，S3对T1’的重新训练中，如果重新训练的性能结果大于T0的性能结果，则替代T0作为新的备选实验配置，即迭代优化。在一些实施例中，所述迭代优化的过程反复循环进行，直至性能最优时停止。在一些实施例中，迭代优化的次数为两轮。基于上述系统，本专利技术还提供一种模型部署方法，包括：步骤一，获得欲转换的模型配置的训练结果；步骤二，对于训练结果进行拆分；步骤三，在数据库中查找拆分后的结果，并转换代码；步骤四，将转换完成的模型代码重新连接，得部署模型。在一些实施例中，还包括步骤五，以测试数据对欲转换的网络模型和欲部署硬件环境下的部署模型提取特征层，依次对应计算两两之间的给定向量距离；若其差小于可接受阈值，则认为结果对齐，并输出可部署的模型作为转换结果。在一些实施例中，步骤二中，所述拆分按照训练结果的网络结构进行。在一些实施例中，所述网络结构为计算层或子结构。在一些实施例中，步骤二中，若拆分时识别发现有数据库中预设的结构，则保存该结构；部署时则根据所述结构选择转换方法。在一些实施例中，步骤三中，所述查找以查表方式进行，以获得代码。在一些实施例中，步骤三中，所述数据库为硬件环境-计算框架的数据库。本专利技术还提供一种芯片，包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行上述任一项所述的模型训练方法。本专利技术还提供一种电子设备，包括处理器、以及用于存储处理器的可执行指令的存储器，所述处理器运行时执行上述任一所述的模型训练方法。本专利技术还提供一种计算机可读介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序指令被处理执行时，实现上述任一所述的模型训练方法。和现有技术相比，本专利技术能将训练出来的模型自动转换为caffe或TFpb或其他常用模型格式，并且自动验证是否能在相应希望部署的硬件平台上部署的方法，并能够自动做一些优化。本专利技术还提出了一种能让没有编程背景和深度学习算法背景的人员在有数据的情况下进行模型优化部署的系统，该系统能够自动进行数据的预处理、AI模型的自动训练调优、AI模型的评估验证和AI模型的自动部署、并且通过计算资源容器化模块，存储资源模块，支持多用户多任务的模型研发。本专利技术在得到指定任务类型和模型的输入输出形式后，输入训练数据和验证数据，可自动训练并在训练时调整模型参数，同时通过调优算法对模型的超参数以及结构进行调整，最终迭代并选取到最优的模型。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的流程示意图；图2为模型优化部署系统的构架设计示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图对本专利技术实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见图2，本实施例基于一种模型优化部署系统，系统的构架设计如图2所示，该系统内主要包含训练流程部分和资源调度部分。训练流程部分，包括对辅助进行数据标注的数据标注模块，数据标注后对数据进行预处理、清洗和切分的数据预处理模块，对处理好的数据进行自动训练和参数调优的模型训练模块。调度部分，在反复的数据迭代和模型调优后，获得的模型可以通过模型部署模块，则根据希望部署的硬件环境自动适配并转换。最后完成整个训练流程的高效简单进行。其中：数据预处理模块，接受回流数据，输出经过预处理的数据集；模型训练模块，对处理好的数据集进行自动训练和参数调优，得到最优配置模型；模型部署模块，根据待部署的硬件的环境对最优配置模型自动适配并转换，最终部署于所述硬件。还包括数据标注模块，对辅助进行数据标注。为了支持多用户多任务，优选通过容器化的共享模块进行计算资源的统一调度，以及储存模块进行数据的统一存储，从而高效的利用计算资源。...

【技术保护点】
1.一种模型训练方法，其特征在于包括：/nS1，在预设的基础神经网络上训练一组模型，选出在验证集上性能最好的模型T0；/nS2,在T0上进行优化获得若干备选实验配置，对所述若干备选实验配置训练并获得其中性能最优的模型T1’；/nS3,对T1’重新训练，确保重新训练的性能结果的平均值大于T0的性能，得到最优的模型配置。/n

【技术特征摘要】
1.一种模型训练方法，其特征在于包括：
S1，在预设的基础神经网络上训练一组模型，选出在验证集上性能最好的模型T0；
S2,在T0上进行优化获得若干备选实验配置，对所述若干备选实验配置训练并获得其中性能最优的模型T1’；
S3,对T1’重新训练，确保重新训练的性能结果的平均值大于T0的性能，得到最优的模型配置。


2.根据权利要求1所述的模型训练方法，其特征在于：S2中，所述在T0上进行优化的方法为调整参数。


3.根据权利要求2所述的模型训练方法，其特征在于：所述参数包括以下之一或组合：模型宽度，学习速率，优化策略，是否使用数据增强，数据增强的参数，网络单位模块。


4.根据权利要求1-3任一所述的模型训练方法，其特征在于：S3对T1’的重新训练中，如果重新训练的性能结果大于T0的性能结果，则替代T0作为新的备选实验配置。


5.根据权利要求4所述的模型训练方法，其特征在于：所述迭代优化的过程反复循环进行，直至性能最优时停止。

【专利技术属性】
技术研发人员：王益县，章子誉，
申请(专利权)人：上海依图网络科技有限公司，
类型：发明
国别省市：上海;31