训练推理平台及方法技术

本发明专利技术提供一种训练推理平台及方法，该平台包括功能管理模块、关系型数据库和训练推理环境模块；关系型数据库用于存储训练推理平台的预置数据集、预置算法和预置开发环境；训练推理环境模块用于管理训练推理平台在训练推理所需的运行训练推理环境；功能管理模块用于根据任务数据调用关系型数据库中的预置数据集、预置算法和预置开发环境，以及根据任务数据调用训练推理环境模块中的运行训练推理环境，并基于调用的预置数据集、预置算法、预置开发环境和运行训练推理环境进行模型的训练推理、开发和部署。本发明专利技术实施例提供的训练推理平台从数据集、算法、开发环境、运行环境、模型训练、开发和部署的一站式开发能力，提高了训练推理效率。练推理效率。练推理效率。

【技术实现步骤摘要】
训练推理平台及方法


[0001]本专利技术涉及计算机领域，尤其涉及一种训练推理平台及方法。

技术介绍

[0002]通过学习样本数据的内在规律和表示层次，最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。但是，深度学习的研究需要大量的数据集，性能较高的机器。因此，需要算法工程师投入大量的精力在整理数据集，调试开发环境等非算法相关工作中，严重影响了训练推理效率。

技术实现思路

[0003]本专利技术提供一种训练推理平台及方法，旨在提高训练推理效率。
[0004]第一方面，本专利技术提供一种训练推理平台，包括功能管理模块、关系型数据库和训练推理环境模块；
[0005]所述关系型数据库用于存储所述训练推理平台的预置数据集、预置算法和预置开发环境；
[0006]所述训练推理环境模块用于管理所述训练推理平台在训练推理所需的运行训练推理环境；
[0007]所述功能管理模块用于根据任务数据调用所述关系型数据库中的预置数据集、预置算法和预置开发环境，以及根据所述任务数据调用所述训练推理环境模块中的运行训练推理环境，并基于调用的预置数据集、预置算法、预置开发环境和运行训练推理环境进行模型的训练推理、开发和部署。
[0008]根据本专利技术提供一种训练推理平台，训练推理平台还包括系统管理模块；
[0009]所述系统管理模块用于对所述训练推理平台进行菜单管理、用户管理、角色管理和字典管理。
[0010]根据本专利技术提供一种训练推理平台，所述训练推理平台还包括前端展示模块；
[0011]所述前端展示模块用于通过所述功能管理模块调用第一数据和通过所述系统管理模块调用第二数据，并将所述第一数据和所述第二数据进行可视化展示。
[0012]根据本专利技术提供一种训练推理平台，所述系统管理模块和所述功能管理模块，分别与所述前端展示模块通过Rest接口调用通信。
[0013]根据本专利技术提供一种训练推理平台，所述训练推理平台还包括镜像私有仓库；
[0014]所述镜像私有仓库用于管理所述训练推理平台的算法镜像上传和算法镜像下载。
[0015]根据本专利技术提供一种训练推理平台，所述训练推理平台还包括存储模块；
[0016]所述存储模块用于存储所述训练推理平台的数据集、训练推理日志和训练产出模型。
[0017]根据本专利技术提供一种训练推理平台，所述训练推理平台还包括执行服务模块；
[0018]所述执行服务模块用于接收所述功能管理模块发送的调用指令，并通过所述调用
指令对所述镜像私有仓库、所述存储模块和所述训练推理环境模块进行操作。
[0019]根据本专利技术提供一种训练推理平台，所述执行服务模块与所述功能管理模块通过Rest接口调用通信，所述镜像私有仓库、所述训练推理环境模块和所述存储模块，分别与所述执行服务模块通过Rest接口调用通信。
[0020]第二方面，本专利技术提供一种训练推理方法，基于第一方面所述的训练推理平台，所述训练推理方法，包括：
[0021]确定待训练推理任务，其中，所述待训练推理任务包括任务信息、数据集信息、算法信息、开发环境信息和运行环境信息；
[0022]基于所述关系型数据库、所述数据集信息、所述算法信息和所述开发环境信息，分别调用目标数据集、目标算法和目标开发环境；
[0023]基于所述训练推理环境模块和所述运行环境信息，调用目标运行训练推理环境；
[0024]基于所述功能管理模块、所述任务信息、所述目标数据集、所述目标算法、所述目标开发环境和目标运行训练推理环境进行模型训练推理，得到所述待训练推理任务的训练推理模型。
[0025]在一实施例中，所述基于所述功能管理模块、所述任务信息、所述目标数据集、所述目标算法、所述目标开发环境和目标运行训练推理环境进行模型训练推理，得到所述待训练推理任务的训练推理模型之后，还包括：
[0026]确定参数修改信息，并基于所述参数修改信息对所述训练推理模型进行参数优化迭代训练，得到最终优化的训练推理模型。
[0027]本专利技术提供的训练推理平台及方法，该平台包括功能管理模块、关系型数据库和训练推理环境模块；关系型数据库用于存储训练推理平台的预置数据集、预置算法和预置开发环境；训练推理环境模块用于管理训练推理平台在训练推理所需的运行训练推理环境；功能管理模块用于根据任务数据调用关系型数据库中的预置数据集、预置算法和预置开发环境，以及根据任务数据调用训练推理环境模块中的运行训练推理环境，并基于调用的预置数据集、预置算法、预置开发环境和运行训练推理环境进行模型的训练推理、开发和部署。本专利技术实施例提供的训练推理平台提供了从数据集、算法、开发环境、运行环境、模型训练、开发和部署的一站式开发能力，不再需要人工整理数据集和调试开发环境，提高了训练推理效率。
附图说明
[0028]为了更清楚地说明本专利技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]图1是本专利技术提供的训练推理平台的结构示意图之一；
[0030]图2是本专利技术提供的训练推理平台的结构示意图之二；
[0031]图3是本专利技术提供的训练推理方法的流程示意图；
[0032]图4是本专利技术提供的模型部署过程的流程示意图。
具体实施方式
[0033]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0034]参照图1，图1是本专利技术提供的训练推理平台的结构示意图之一。本专利技术实施例提供的训练推理平台包括功能管理模块、关系型数据库和训练推理环境模块；
[0035]所述关系型数据库用于存储所述训练推理平台的预置数据集、预置算法和预置开发环境；
[0036]所述训练推理环境模块用于管理所述训练推理平台在训练推理所需的运行训练推理环境；
[0037]所述功能管理模块用于根据任务数据调用所述关系型数据库中的预置数据集、预置算法和预置开发环境，以及根据所述任务数据调用所述训练推理环境模块中的运行训练推理环境，并基于调用的预置数据集、预置算法、预置开发环境和运行训练推理环境进行模型的训练推理、开发和部署。
[0038]需要说明的是，训练推理时，用户需要在训练推理平台中发布训练推理任务，其中，在构建训练推理任务时，应该填写包括但不限制于任务名称信息、任务描述信息、选择的数据集信息、选择的算法信息、选择的开发环境信息和选择的运行环境信息，为了方便描述，将任务名称信息和任务描述信息定义为任务信息。
...

【技术保护点】

【技术特征摘要】
1.一种训练推理平台，其特征在于，所述训练推理平台包括功能管理模块、关系型数据库和训练推理环境模块；所述关系型数据库用于存储所述训练推理平台的预置数据集、预置算法和预置开发环境；所述训练推理环境模块用于管理所述训练推理平台在训练推理所需的运行训练推理环境；所述功能管理模块用于根据任务数据调用所述关系型数据库中的预置数据集、预置算法和预置开发环境，以及根据所述任务数据调用所述训练推理环境模块中的运行训练推理环境，并基于调用的预置数据集、预置算法、预置开发环境和运行训练推理环境进行模型的训练推理、开发和部署。2.根据权利要求1所述的训练推理平台，其特征在于，所述训练推理平台还包括系统管理模块；所述系统管理模块用于对所述训练推理平台进行菜单管理、用户管理、角色管理和字典管理。3.根据权利要求2所述的训练推理平台，其特征在于，所述训练推理平台还包括前端展示模块；所述前端展示模块用于通过所述功能管理模块调用第一数据和通过所述系统管理模块调用第二数据，并将所述第一数据和所述第二数据进行可视化展示。4.根据权利要求1至3任一项所述的训练推理平台，其特征在于，所述系统管理模块和所述功能管理模块，分别与所述前端展示模块通过Rest接口调用通信。5.根据权利要求1所述的训练推理平台，其特征在于，所述训练推理平台还包括镜像私有仓库；所述镜像私有仓库用于管理所述训练推理平台的算法镜像上传和算法镜像下载。6.根据权利要求5所述的训练推理平台，其特征在于，所述训练推理平台还包括存储模块；所述存储模块用于存储所述训练推理平台的数据集、训练推理日志和训练产出模型。7....

【专利技术属性】
技术研发人员：孙浩，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：