模型生成系统、方法、电子设备及存储介质技术方案

本申请提供了一种模型生成系统、方法、电子设备及存储介质。旨在优化模型生成的流程，系统包括分布式集群，分布式集群包括：头节点、服务节点以及多个工作节点；头节点，用于根据预先配置的预设模型、训练数据集以及测试数据集，创建模型生成任务，并将模型生成任务下发给多个工作节点；多个工作节点，分别用于根据模型生成任务，从训练数据集中提取目标训练数据集训练预设模型，并从测试数据集中提取目标测试数据集对训练得到的模型进行测试，得到模型性能参数值；服务节点，用于为头节点以及多个工作节点提供共享目录，共享目录包括多个工作节点各自得到的模型性能参数值；所述系统根据所述多个工作节点各自得到的模型性能参数值，确定目标模型。确定目标模型。确定目标模型。

【技术实现步骤摘要】
模型生成系统、方法、电子设备及存储介质


[0001]本专利技术涉及机器学习
，特别是涉及一种模型生成系统、方法、电子设备及存储介质。

技术介绍

[0002]随着神经网络模型的应用领域越来越广泛，对于神经网络模型的需求也与日俱增。目前，为了满足各种智能处理任务，例如，人脸识别任务、物体分类任务、指纹识别任务等，需要构建满足上述任务的神经网络模型。
[0003]神经网络模型的构建过程一般包括两个阶段，分别为训练阶段和测评阶段，其中，训练阶段是利用训练样本训练出一个模型，测评阶段是利用测试样本对训练出的该模型进行性能测试，以评估该训练出的模型是否满足处理任务的要求。
[0004]相关技术中，构建神经网络模型时，一般是将训练阶段和测评阶段拆成单个的模块来做，如此，技术人员需要单独针对训练阶段设置训练数据集、训练参数等，在训练完成后，技术人员再单独针对测评阶段准备测评数据集、测评参数等启动对模型的测评。此种方式耗时耗力，导致模型构建成本较高、效率较低。

技术实现思路

[0005]本申请实施例提供了一种模型生成系统、方法、电子设备及存储介质，旨在提供一种更有效的模型生成方式。
[0006]本申请实施例第一方面提供了一种模型生成系统，所述系统包括分布式集群，所述分布式集群包括：头节点、服务节点以及多个工作节点；
[0007]所述头节点，用于根据预先配置的预设模型、训练数据集以及测试数据集，创建模型生成任务，并将所述模型生成任务下发给所述多个工作节点；
[0008]所述多个工作节点，分别用于根据所述模型生成任务，从所述训练数据集中提取目标训练数据集训练所述预设模型，并从所述测试数据集中提取目标测试数据集对训练得到的模型进行测试，得到模型性能参数值；
[0009]所述服务节点，用于为所述头节点以及多个工作节点提供共享目录，所述共享目录包括所述多个工作节点各自得到的模型性能参数值；
[0010]其中，所述系统根据所述多个工作节点各自得到的模型性能参数值，确定目标模型。
[0011]可选地，所述头节点，还用于比较所述多个工作节点各自得到的模型性能参数值，将所述多个工作节点中一个工作节点训练得到的模型确定为目标模型。
[0012]可选地，所述共享目录还包括所述多个工作节点分别在对所述预设模型进行训练的过程中，所述预设模型的模型参数；
[0013]所述多个工作节点，分别用于根据所述模型生成任务，从所述训练数据集中提取目标训练数据集训练所述预设模型，直至达到预设的训练结束条件或所述预设模型收敛
后，从所述测试数据集中提取目标测试数据集对训练得到的模型进行测试，得到模型性能参数值。
[0014]可选地，所述系统还包括：与所述分布式集群通信连接的对象存储服务OSS模块，用于存储所述预设模型并将所述预设模型下发给所述多个工作节点，以及用于存储所述头节点确定出的所述目标模型。
[0015]可选地，所述系统运行在Kubernetes平台上，所述系统还包括自动学习服务器、自动学习控制器；所述头节点内部署有自动学习接口；
[0016]所述自动学习服务器用于接收用户终端发送的模型生成请求，并利用所述Kubernetes平台的客户资源自定义机制，输出所述模型生成任务指示，并发送给所述自动学习控制器；
[0017]所述自动学习控制器用于创建所述分布式集群，并向所述头节点内部署的所述自动学习接口下发所述模型生成任务指示；
[0018]所述头节点，用于在接收到所述模型任务生成指示时，根据预先配置的预设模型、训练数据集以及测试数据集，创建模型生成任务。
[0019]可选地，所述模型生成请求包括：所述训练数据集和所述测试数据集；所述系统还包括Mongo数据库，所述Mongo用于存储所述训练数据集和所述测试数据集。
[0020]本申请实施例的第二方面，提供一种模型生成方法，所述方法包括：
[0021]根据预先配置的预设模型、训练数据集以及测试数据集，创建模型生成任务，并将所述模型生成任务下发给多个工作节点；
[0022]获得所述多个工作节点各自从所述训练数据集中提取目标训练数据集训练所述预设模型，并从所述测试数据集中提取目标测试数据集对训练得到的模型进行测试后得到模型性能参数值；
[0023]根据所述多个工作节点各自得到的模型性能参数值，确定目标模型。
[0024]可选地，所述方法还包括：
[0025]获得应用数据集；
[0026]将所述应用数据集输入所述目标模型，得到模型预测结果。
[0027]本申请实施例第三方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请第二方面所述的方法的步骤。
[0028]本申请实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第二方面所述的方法中的步骤。
[0029]本申请实施例提供的模型生成系统包括分布式集群，分布式集群的头节点可以根据预先配置的预设模型、训练数据集以及测试数据集，创建模型生成任务，并将所述模型生成任务下发给集群中的多个工作节点，每个工作节点可以自动根据模型生成任务，利用训练数据集中的目标训练数据集训练预设模型，并利用测试数据集中的目标测试数据集对训练得到的模型进行测试，得到模型性能参数值，集群中的服务节点提供的共享目录中可以包括多个工作节点各自得到的模型的模型性能参数值，从而根据模型的模型性能参数值，从中自动筛选出性能较优的目标模型。
[0030]采用本申请的模型生成系统，只需配置好训练数据集和测试数据集即可，后续便
可以通过分布式集群中的头节点、服务节点和工作节点自动完成模型训练和模型测评，避免在训练好模型后，需要用户介入才能对模型进行测评的问题，实现了根据训练数据集和测试数据集的输入，直接产生可用的模型的技术目的。
附图说明
[0031]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0032]图1是本申请一实施例示出的一种模型生成系统的结构框图；
[0033]图2是本申请一实施例示出的一种模型生成系统的整体结构框图；
[0034]图3是本申请一实施例示出的模型生成方法的流程图；
[0035]图4是本申请一实施例示出的一种电子设备的示意图。
具体实施方式
[0036]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0037]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型生成系统，其特征在于，所述系统包括分布式集群，所述分布式集群包括：头节点、服务节点以及多个工作节点；所述头节点，用于根据预先配置的预设模型、训练数据集以及测试数据集，创建模型生成任务，并将所述模型生成任务下发给所述多个工作节点；所述多个工作节点，分别用于根据所述模型生成任务，从所述训练数据集中提取目标训练数据集训练所述预设模型，并从所述测试数据集中提取目标测试数据集对训练得到的模型进行测试，得到模型性能参数值；所述服务节点，用于为所述头节点以及多个工作节点提供共享目录，所述共享目录包括所述多个工作节点各自得到的模型性能参数值；其中，所述系统根据所述多个工作节点各自得到的模型性能参数值，确定目标模型。2.根据权利要求1所述的系统，其特征在于，所述头节点，还用于比较所述多个工作节点各自得到的模型性能参数值，将所述多个工作节点中一个工作节点训练得到的模型确定为所述目标模型。3.根据权利要求1或2所述的系统，其特征在于，所述共享目录还包括所述多个工作节点分别在对所述预设模型进行训练的过程中，所述预设模型的模型参数；所述多个工作节点，分别用于根据所述模型生成任务，从所述训练数据集中提取目标训练数据集训练所述预设模型，直至达到预设的训练结束条件或所述预设模型收敛后，从所述测试数据集中提取目标测试数据集对训练得到的模型进行测试，得到模型性能参数值。4.根据权利要求1
‑
3任一项所述的系统，其特征在于，所述系统还包括：与所述分布式集群通信连接的对象存储服务OSS模块，用于存储所述预设模型并将所述预设模型下发给所述多个工作节点，以及用于存储所述头节点确定出的所述目标模型。5.根据权利要求1
‑
3任一项所述的系统，其特征在于...

【专利技术属性】
技术研发人员：唐亮，刘克，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：