模型训练系统、方法、设备、可读存储介质及程序产品技术方案

本申请提供了一种模型训练系统、方法、设备、可读存储介质及程序产品，系统包括前端子系统、后端子系统和数据服务器，前端子系统包括任务管理模块、模型管理模块和模型训练与结果下载模块，后端子系统包括数据处理模块、多线程管理模块和训练框架模块。可以通过前端子系统中与用户进行交互，上传用于创建训练任务的任务元数据，及与训练任务相关联的训练数据集、算法文件、网络层文件、模型结构文件、训练实例，通过后端子系统将前端子系统上传的文件存储于数据服务器，根据训练实例创建训练子线程，以进行模型训练。这样，用户直接在前端子系统中上传数据即可于后端子系统中进行模型训练，简化了模型训练的流程，有效提高模型训练的效率。的效率。的效率。

【技术实现步骤摘要】
模型训练系统、方法、设备、可读存储介质及程序产品


[0001]本申请属于模型训练
，尤其涉及一种模型训练系统、方法、设备、可读存储介质及程序产品。

技术介绍

[0002]近年来，人工智能技术的应用越来越广泛，模型训练作为人工智能技术的关键之一，对于人工智能技术的发展而言至关重要。目前模型训练方法通常利用训练设备搭建训练环境，开发训练工程，设计出模型结构后使用数据训练模型，然后将训练好后的模型导出。然而整个过程对用户的技术要求较高，且每次训练模型前期的准备流程较复杂，导致现有的模型训练过程繁琐、难度较大，从而影响模型训练的效率。

技术实现思路

[0003]本申请实施例提供一种模型训练系统、方法、设备、可读存储介质及程序产品，以解决现有的模型训练过程繁琐、难度较大，从而影响模型训练的效率的技术问题。
[0004]第一方面，本申请实施例提供一种模型训练系统，系统包括：
[0005]前端子系统、后端子系统和数据服务器，前端子系统包括：
[0006]任务管理模块，用于上传任务元数据，任务元数据用于创建训练任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练系统，其特征在于，所述系统包括：前端子系统、后端子系统和数据服务器，所述前端子系统包括：任务管理模块，用于上传任务元数据，所述任务元数据用于创建训练任务，模型管理模块，用于上传与所述训练任务关联的训练数据集、算法文件、网络层文件和模型结构文件，其中，所述网络层文件包括网络层及所述网络层的配置参数，所述模型结构文件基于多个网络层、所述多个网络层的连接关系及配置参数生成，模型训练与结果下载模块，用于上传训练实例，所述训练实例基于所述训练数据集、所述算法文件和所述模型结构文件组成，所述后端子系统包括：数据处理模块，与所述任务管理模块、所述模型管理模块和所述模型训练与结果下载模块连接，用于将所述任务元数据、所述训练数据集、所述算法文件、所述网络层文件和所述模型结构文件存储于所述数据服务器，多线程管理模块，与所述模型训练与结果下载模块连接，用于接收所述训练实例，并根据所述训练实例创建训练子线程，训练框架模块，与所述多线程管理模块连接，用于根据所述训练子线程，将所述训练数据集输入至所述模型结构文件对应的模型中，运行所述算法文件对应的算法以进行模型训练。2.根据权利要求1所述的系统，其特征在于，所述模型管理模块包括：数据管理模块，用于上传与所述训练任务关联的训练数据集，算法管理模块，用于上传与所述训练任务关联的算法文件，网络层管理模块，用于上传与所述训练任务关联的网络层文件，模型结构管理模块，用于上传与所述训练任务关联的模型结构文件。3.根据权利要求2所述的系统，其特征在于，所述后端子系统还包括：算法验证模块，与所述算法管理模块和所述训练框架模块连接，用于在所述数据处理模块接收到所述算法管理模块上传的算法文件的情况下，调用所述训练框架模块验证所述算法文件对应的算法，并返回所述算法的验证结果至所述算法管理模块。4.根据权利要求2所述的系统，其特征在于，所述后端子系统还包括：模型结构验证模块，与所述模型结构管理模块和所述训练框架模块连接，用于在所述数据处理模块接收到所述模型结构管理模块上传的模型结构文件的情况下，调用所述训练框架模块验证所述模型结构文件对应的模型，并返回所述模型的验证结果至所述模型结构管理模块。5.根据权利要求2所述的系统，其特征在于，所述前端子系统还包括：可视化模块，与所述模型结构管理模块连接，用于可视化显示所述模型结构文件中的模型。6.根据权利要求1所述的系统，其特征在于，所述训练框架模块还与所述模型训练与结果下载模块和所述数据处理模块连接，所述训练框架模块还用于返回模型训练的相关结果数据至所述模型训练与结果下载模块，所述模型训练与结果下载模块还用于下载所述模型训练的相关结果数据，所述数据处理模块还用于将所述模型训练的相关结果数据存储于所述数据服务器。
7.根据权利要求6所述的系统，其特征在于，所述训练框架模块与所述模型训练与结果下载模块通过全双工通信协议Websocket进行通讯连接。8.根据权利要求1或2所述的系统，其特征在于，所述模型管理模块还用于上传所述训练数据集对应的数据集元数据、所述算法文件对应的算法元数据、所述网络层文件对应的网络层元数据和所述模型结构文件对应的模型结构元数据。9.根据权利要求6所述的系统，其特征在于，所述数据服务器包括数据库和文件服务器，所述数据处理模块包括：数据库交互模块，与所述任务管理模块和所述模型管理模块连接，用于将所述任务元数据、所述数据集元数据、所述算法元数据、所述网络层元数据和所述模型结构元数据存储于所述数据库，文件处理模块，与所述模型管理模块连接，用于将所述训练数据集、所述算法文件、所述网络层文件和所述模型结构文件存储于所述文件服务器。10.一种模型训练方法，其特征在于，应用于模型训练系统中的后端子系统，所述模型训练系统还包括前端子系统和数据服务器，所述前端子系统包括任务管理模块、模型管理模块和模型训练与结果下载模块，所述后端子系统包括数据处理模块、多线程管理模块和训练框架模块，所述方法包括：所述数据处理模块在接收到所述任务管理模块上传的任务元数据的情况下，将所述任务元数据存储于所述数据服务器，并创建训练任务，所述数据处理模块接收所述模型管理模块上传的与所述训练任务关联的训练数据集、算法文件、网络层文件和模型结构文件，并存储于所述数据服务器，所述多线程管理模块接收所述模型训练与结果下载模块上传的训练实例，并根据所述训练实例创建训练子线程，所述训练实例基于存储于所述数据服务器中的所述训练数据集、所述算法文件和所述模型结构文件组成，所述训练框架模块根据所述训练子线程，将所述训练数据集输入...

【专利技术属性】
技术研发人员：查欣，
申请(专利权)人：上海涵润汽车电子有限公司，
类型：发明
国别省市：