模型训练系统、方法、设备、可读存储介质及程序产品技术方案

本申请提供了一种模型训练系统、方法、设备、可读存储介质及程序产品，系统包括前端子系统、后端子系统和数据服务器，前端子系统包括任务管理模块、模型管理模块和模型训练与结果下载模块，后端子系统包括数据处理模块、多线程管理模块和训练框架模块。可以通过前端子系统中与用户进行交互，上传用于创建训练任务的任务元数据，及与训练任务相关联的训练数据集、算法文件、网络层文件、模型结构文件、训练实例，通过后端子系统将前端子系统上传的文件存储于数据服务器，根据训练实例创建训练子线程，以进行模型训练。这样，用户直接在前端子系统中上传数据即可于后端子系统中进行模型训练，简化了模型训练的流程，有效提高模型训练的效率。的效率。的效率。

【技术实现步骤摘要】
模型训练系统、方法、设备、可读存储介质及程序产品


[0001]本申请属于模型训练
，尤其涉及一种模型训练系统、方法、设备、可读存储介质及程序产品。

技术介绍

[0002]近年来，人工智能技术的应用越来越广泛，模型训练作为人工智能技术的关键之一，对于人工智能技术的发展而言至关重要。目前模型训练方法通常利用训练设备搭建训练环境，开发训练工程，设计出模型结构后使用数据训练模型，然后将训练好后的模型导出。然而整个过程对用户的技术要求较高，且每次训练模型前期的准备流程较复杂，导致现有的模型训练过程繁琐、难度较大，从而影响模型训练的效率。

技术实现思路

[0003]本申请实施例提供一种模型训练系统、方法、设备、可读存储介质及程序产品，以解决现有的模型训练过程繁琐、难度较大，从而影响模型训练的效率的技术问题。
[0004]第一方面，本申请实施例提供一种模型训练系统，系统包括：
[0005]前端子系统、后端子系统和数据服务器，前端子系统包括：
[0006]任务管理模块，用于上传任务元数据，任务元数据用于创建训练任务，
[0007]模型管理模块，用于上传与训练任务关联的训练数据集、算法文件、网络层文件和模型结构文件，其中，网络层文件包括网络层及网络层的配置参数，模型结构文件基于多个网络层、多个网络层的连接关系及配置参数生成，
[0008]模型训练与结果下载模块，用于上传训练实例，训练实例基于训练数据集、算法文件和模型结构文件组成，
[0009]后端子系统包括：/>[0010]数据处理模块，与任务管理模块、模型管理模块和模型训练与结果下载模块连接，用于将任务元数据、训练数据集、算法文件、网络层文件和模型结构文件存储于数据服务器，
[0011]多线程管理模块，与模型训练与结果下载模块连接，用于接收训练实例，并根据训练实例创建训练子线程，
[0012]训练框架模块，与多线程管理模块连接，用于根据训练子线程，将训练数据集输入至模型结构文件对应的模型中，运行算法文件对应的算法以进行模型训练。
[0013]第二方面，本申请实施例提供了一种模型训练方法，应用于模型训练系统中的后端子系统，模型训练系统还包括前端子系统和数据服务器，前端子系统包括任务管理模块、模型管理模块和模型训练与结果下载模块，后端子系统包括数据处理模块、多线程管理模块和训练框架模块，方法包括：
[0014]数据处理模块在接收到任务管理模块上传的任务元数据的情况下，将任务元数据存储于数据服务器，并创建训练任务，
[0015]数据处理模块接收模型管理模块上传的与训练任务关联的训练数据集、算法文件、网络层文件和模型结构文件，并存储于数据服务器，
[0016]多线程管理模块接收模型训练与结果下载模块上传的训练实例，并根据训练实例创建训练子线程，训练实例基于存储于数据服务器中的训练数据集、算法文件和模型结构文件组成，
[0017]训练框架模块根据训练子线程，将训练数据集输入至模型结构文件对应的模型中，运行算法文件对应的算法以进行模型训练。
[0018]第三方面，本申请实施例提供了一种电子设备，设备包括：
[0019]处理器以及存储有程序或指令的存储器；
[0020]所述处理器执行所述程序或指令时实现上述的方法。
[0021]第四方面，本申请实施例提供了一种机器可读存储介质，所述机器可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现上述的方法。
[0022]第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行上述方法。
[0023]本申请实施例的模型训练系统、方法、设备、可读存储介质及程序产品，模型训练系统包括前端子系统、后端子系统和数据服务器，其中前端子系统可以包括任务管理模块、模型管理模块和模型训练与结果下载模块，可以通过前端子系统中的这些模块与用户进行交互，以上传用于创建训练任务的任务元数据，及与训练任务相关联的训练数据集、算法文件、网络层文件和模型结构文件，可以基于这些文件上传训练实例，训练实例可用于后续的模型训练。后端子系统可以包括数据处理模块、多线程管理模块和训练框架模块，可以通过后端子系统中的这些模块将前端子系统上传的文件存储于数据服务器，并可以根据训练实例创建训练子线程，以进行模型训练。这样，用户可以直接在前端子系统中上传数据即可于后端子系统中进行模型训练，无需用户重新搭建训练环境，开发训练工程等，简化了模型训练的流程，有效提高模型训练的效率。
附图说明
[0024]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1是本申请一些实施例提供的模型训练系统的一种结构示意图；
[0026]图2是本申请一些实施例提供的模型训练系统的另一种结构示意图；
[0027]图3是本申请一些实施例提供的模型训练方法的流程示意图；
[0028]图4是本申请实施例提供的模型训练方法的场景实施例示意图；
[0029]图5是本申请又一个实施例提供的电子设备的结构示意图。
具体实施方式
[0030]下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领
域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
[0031]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0032]为了解决现有技术问题，本申请实施例提供了一种模型训练系统、方法、设备、可读存储介质及程序产品。下面首先对本申请实施例所提供的模型训练系统进行介绍。
[0033]图1示出了本申请一些实施例提供的一种模型训练系统的结构示意图。如图1所示，本申请实施例中提供一种模型训练系统，模型训练系统可以包括：
[0034]前端子系统110、后端子系统120和数据服务器130，前端子系统110可以包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练系统，其特征在于，所述系统包括：前端子系统、后端子系统和数据服务器，所述前端子系统包括：任务管理模块，用于上传任务元数据，所述任务元数据用于创建训练任务，模型管理模块，用于上传与所述训练任务关联的训练数据集、算法文件、网络层文件和模型结构文件，其中，所述网络层文件包括网络层及所述网络层的配置参数，所述模型结构文件基于多个网络层、所述多个网络层的连接关系及配置参数生成，模型训练与结果下载模块，用于上传训练实例，所述训练实例基于所述训练数据集、所述算法文件和所述模型结构文件组成，所述后端子系统包括：数据处理模块，与所述任务管理模块、所述模型管理模块和所述模型训练与结果下载模块连接，用于将所述任务元数据、所述训练数据集、所述算法文件、所述网络层文件和所述模型结构文件存储于所述数据服务器，多线程管理模块，与所述模型训练与结果下载模块连接，用于接收所述训练实例，并根据所述训练实例创建训练子线程，训练框架模块，与所述多线程管理模块连接，用于根据所述训练子线程，将所述训练数据集输入至所述模型结构文件对应的模型中，运行所述算法文件对应的算法以进行模型训练。2.根据权利要求1所述的系统，其特征在于，所述模型管理模块包括：数据管理模块，用于上传与所述训练任务关联的训练数据集，算法管理模块，用于上传与所述训练任务关联的算法文件，网络层管理模块，用于上传与所述训练任务关联的网络层文件，模型结构管理模块，用于上传与所述训练任务关联的模型结构文件。3.根据权利要求2所述的系统，其特征在于，所述后端子系统还包括：算法验证模块，与所述算法管理模块和所述训练框架模块连接，用于在所述数据处理模块接收到所述算法管理模块上传的算法文件的情况下，调用所述训练框架模块验证所述算法文件对应的算法，并返回所述算法的验证结果至所述算法管理模块。4.根据权利要求2所述的系统，其特征在于，所述后端子系统还包括：模型结构验证模块，与所述模型结构管理模块和所述训练框架模块连接，用于在所述数据处理模块接收到所述模型结构管理模块上传的模型结构文件的情况下，调用所述训练框架模块验证所述模型结构文件对应的模型，并返回所述模型的验证结果至所述模型结构管理模块。5.根据权利要求2所述的系统，其特征在于，所述前端子系统还包括：可视化模块，与所述模型结构管理模块连接，用于可视化显示所述模型结构文件中的模型。6.根据权利要求1所述的系统，其特征在于，所述训练框架模块还与所述模型训练与结果下载模块和所述数据处理模块连接，所述训练框架模块还用于返回模型训练的相关结果数据至所述模型训练与结果下载模块，所述模型训练与结果下载模块还用于下载所述模型训练的相关结果数据，所述数据处理模块还用于将所述模型训练的相关结果数据存储于所述数据服务器。
7.根据权利要求6所述的系统，其特征在于，所述训练框架模块与所述模型训练与结果下载模块通过全双工通信协议Websocket进行通讯连接。8.根据权利要求1或2所述的系统，其特征在于，所述模型管理模块还用于上传所述训练数据集对应的数据集元数据、所述算法文件对应的算法元数据、所述网络层文件对应的网络层元数据和所述模型结构文件对应的模型结构元数据。9.根据权利要求6所述的系统，其特征在于，所述数据服务器包括数据库和文件服务器，所述数据处理模块包括：数据库交互模块，与所述任务管理模块和所述模型管理模块连接，用于将所述任务元数据、所述数据集元数据、所述算法元数据、所述网络层元数据和所述模型结构元数据存储于所述数据库，文件处理模块，与所述模型管理模块连接，用于将所述训练数据集、所述算法文件、所述网络层文件和所述模型结构文件存储于所述文件服务器。10.一种模型训练方法，其特征在于，应用于模型训练系统中的后端子系统，所述模型训练系统还包括前端子系统和数据服务器，所述前端子系统包括任务管理模块、模型管理模块和模型训练与结果下载模块，所述后端子系统包括数据处理模块、多线程管理模块和训练框架模块，所述方法包括：所述数据处理模块在接收到所述任务管理模块上传的任务元数据的情况下，将所述任务元数据存储于所述数据服务器，并创建训练任务，所述数据处理模块接收所述模型管理模块上传的与所述训练任务关联的训练数据集、算法文件、网络层文件和模型结构文件，并存储于所述数据服务器，所述多线程管理模块接收所述模型训练与结果下载模块上传的训练实例，并根据所述训练实例创建训练子线程，所述训练实例基于存储于所述数据服务器中的所述训练数据集、所述算法文件和所述模型结构文件组成，所述训练框架模块根据所述训练子线程，将所述训练数据集输入...

【专利技术属性】
技术研发人员：查欣，
申请(专利权)人：上海涵润汽车电子有限公司，
类型：发明
国别省市：