基于容器编排工具的智能训练装置制造方法及图纸

本申请公开了一种基于容器编排工具的智能训练装置，该装置包括：在容器编排工具模块基础上，集成API交互模块、数据处理模块和镜像库模块；用户通过API交互模块输入训练参数，训练参数经容器编排工具模块转换和数据处理模块分析、优化处理后，由容器编排工具模块拉取镜像库模块的应用镜像并且启动容器进行训练。本申请的目的至少在于，能够利用容器编排工具管理深度学习从而避免人为操作造成的纰漏且为用户提供了易于理解和接受的可视化图形界面。

Intelligent training device based on container arrangement tool

【技术实现步骤摘要】
基于容器编排工具的智能训练装置
本申请涉及基于容器(容器是一个软件的轻量级独立可执行软件包，包含运行它所需的一切：代码，运行时，系统工具，系统库，设置)管理的智能训练
，具体来说，涉及一种基于容器编排工具的智能训练装置。
技术介绍
深度学习研究的热潮持续高涨，各种开源深度学习框架也层出不穷，其中包括TensorFlow、Caffe(ConvolutionalArchitectureforFastFeatureEmbedding，是一种常用的深度学习框架，主要应用在视频、图像处理方面的应用上)等等。面对深度学习计算力的挑战，软件和硬件一样的关键，单靠硬件无法提供易用性和拓展性，以Caffe为例，它可以用来做人脸识别、图片分类、位置检测、目标追踪等，但由于其对时间序列RNN(RecurrentNeuralNetwork，循环神经网络)、LSTM(LongShort-TermMemory，长短期记忆网络)等支持得不是特别充分,定义RNN结构时比较麻烦，在模型结构非常复杂时，可能需要写非常冗长的配置文件才能设计好网络，而且阅读时也比较费力，伴随其训练进行所产生的模型文件不仅冗长，而且需要甄别出关键字段，无形中增加了开销。现有技术存在的问题：目前，进行深度学习任务，资源的分配及任务的调度需要依赖于个人的经验，面对资源短缺或任务调度不合理的情况，不仅容易造成资源利用的不充分，更甚者会对训练的进度造成阻塞。构成深度训练的过程在没有平台的参与下，从转换数据集、编写配置文件到进行训练，需要很长的时间，且结果数据需要人为进行提取，极易因疏忽造成纰漏。
技术实现思路
针对相关技术中的上述问题，本申请提出一种基于基于容器编排工具的智能训练装置，至少能够利用容器编排工具管理深度学习从而避免人为操作而造成的纰漏且为用户提供了易于理解和接受的可视化图形界面。本申请的技术方案是这样实现的：提供了一种基于基于容器编排工具的智能训练装置，包括：在容器编排工具模块基础上，集成API(ApplicationProgrammingInterface，应用程序编程接口)交互模块、数据处理模块和镜像(镜像是一种文件存储格式，镜像文件其实和ZIP压缩包类似，它将特定的一系列文件按照一定的格式制作成单一的文件，以方便用户下载和使用)库模块；用户通过API交互模块输入训练参数，训练参数经容器编排工具模块转换和数据处理模块分析、优化处理后，由容器编排工具模块拉取镜像库模块的应用镜像并且启动容器进行训练。根据本申请的实施例，还包括：用户只需通过API交互模块输入训练参数并且通过API交互模块得到以图形化界面显示的训练结果，训练过程由数据处理模块、容器编排工具模块和镜像库模块完成。根据本申请的实施例，训练参数至少包括：选择原始数据集；选择网络结构；键入求解参数；选择资源类型及训练样本。根据本申请的实施例，容器编排工具模块至少包含：数据集转换模块，用以转换数据集；优化处理模块，用以优化训练参数和推荐模型并配置参数，参数至少包括：display和snapshoot；拉取应用镜像模块，用以拉取镜像库模块的应用镜像。根据本申请的实施例，数据处理模块至少包含：优化处理模块，用以对训练参数和训练结果进行解析和优化处理；生成配置文件模块，用以根据训练参数和转换数据集生成配置文件供训练所用。根据本申请的实施例，配置文件包含求解文件和网络文件，其中：求解文件，至少包含参数：baselr、lrpolicy、weightdecay、momentum；网络文件，至少包含：池化层、数据层、激活层、准确率层。本申请的有益技术效果在于：平台通过抽象训练过程、提供抽象后的模块间引导、配置文件的自动构建等，使用户在深度学习的过程中，省去了大量的时间；平台通过解析深度学习训练产生的数据，并映射为图形化界面，使用户易于理解和接收，且避免了人为操作时因疏忽而造成的纰漏。附图说明为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本申请实施例的基于容器编排工具的智能训练装置示意图；图2是根据本申请实施例的基于容器编排工具的智能训练装置流程图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。根据本申请的实施例，提供了一种基于容器编排工具的智能训练装置。图1示出了根据本申请实施例的基于容器编排工具的智能训练装置示意图。参考图1所示，本专利技术的基于容器编排工具的智能训练装置包括：在容器编排工具模块基础上，集成镜像库模块、数据处理模块和API交互模块；用户通过API交互模块输入训练参数，训练参数经容器编排工具模块转换和数据处理模块分析、优化处理后，由容器编排工具模块拉取镜像库模块的应用镜像并且启动容器进行训练。本专利技术的上述技术方案，通过构建深度学习软件平台，打包深度学习框架应用以及依赖包到可移植的容器中，并利用编排容器工具K8s进行管理，将深度学习所涉及的数据集转换、模型建立、训练等过程进行集成，并向用户提供可视化接口，使其专注于训练过程的数据分析与结果收集，利用易用性降低算法研发门槛，让数据科学家，算法研究人员不需要了解底层细节就可以描述和实现深度学习业务需求，通过抽象以简单易懂的方式解决上层开发者灵活多变的需求。此专利技术在容器编排工具(容器编排工具为Kubernetes工具，是Google开源的容器集群管理系统，其提供应用部署、维护、扩展机制等功能，利用Kubernetes能方便地管理跨机器运行容器化的应用。主要实现语言为Go语言，Kubernetes缩写为K8s)的基础上，集成镜像库、数据处理平台、交互平台等，形成训练过程模块化、导向化；解析结果形象化、直观化；流程衔接一体化的深度学习智能训练平台。如图1所示，本专利技术的实现架构分为四个部分：如图1中11处所示API交互层：提供用户键入与数据导出的接口，该层负责将平台内部训练模块的划分对用户呈现，并将资源支配、参数规范的控制权交接给用户，且实时将训练中产生的结果以图形化界面进行展示。如图1中12处所示数据处理层：负责将各类型深度学习任务的入参规范、整合；并将在容器中训练的结果进行分析和处理。如图1中13处所示容器编排工具：根据调度策略对资源进行统一规划、分配；将容器端口与节点端口映射，提供对外服务；根据用户选择的不同深度学习应用，拉取镜像库镜像，实例化为容器本文档来自技高网...

【技术保护点】
1.一种基于容器编排工具的智能训练装置，其特征在于，包括：/n在容器编排工具模块基础上，集成API交互模块、数据处理模块和镜像库模块；/n用户通过API交互模块输入训练参数，所述训练参数经所述容器编排工具模块转换和数据处理模块分析、优化处理后，由容器编排工具模块拉取镜像库模块的应用镜像并且启动容器进行训练。/n

【技术特征摘要】
1.一种基于容器编排工具的智能训练装置，其特征在于，包括：
在容器编排工具模块基础上，集成API交互模块、数据处理模块和镜像库模块；
用户通过API交互模块输入训练参数，所述训练参数经所述容器编排工具模块转换和数据处理模块分析、优化处理后，由容器编排工具模块拉取镜像库模块的应用镜像并且启动容器进行训练。


2.按照权利要求1所述的基于容器编排工具的智能训练装置，其特征在于，还包括：
用户只需通过API交互模块输入训练参数并且通过API交互模块得到以图形化界面显示的训练结果，训练过程由数据处理模块、容器编排工具模块和镜像库模块完成。


3.按照权利要求1或2基于容器编排工具的智能训练装置，其特征在于，所述训练参数至少包括：
选择原始数据集；
选择网络结构；
键入求解参数；
选择资源类型及训练样本。


4.按照权利要求1或2所述的基于容器编排工具的智能训练装置...

【专利技术属性】
技术研发人员：张博，
申请(专利权)人：中科曙光国际信息产业有限公司，
类型：发明
国别省市：山东;37