基于容器技术的深度学习模型训练方法、设备及存储介质技术

本发明专利技术公开了一种基于容器技术的深度学习模型训练方法设备及存储介质，包括，基于容器技术配置深度学习模型训练所需的环境和组件；在所述第一容器中构建第一深度学习模型；在第二容器中构建第二深度学习模型；输入第一训练数据到第一深度学习模型进行训练；将第一容器的训练数据迁移到第二容器得到第二深度学习模型；输入第二训练数据到第二深度学习模型，进行优化输出参数。本发明专利技术能够统一资源调度，减少数据冗余，提高训练效率，减少资源成本，实用性强。实用性强。实用性强。

【技术实现步骤摘要】
基于容器技术的深度学习模型训练方法、设备及存储介质


[0001]本专利技术涉及人工智能深度学习
，尤其涉及基于容器技术的深度学习模型训练方法、设备及存储介质。

技术介绍

[0002]现有的深度学习模型的训练方法，按照完整训练流程去训练一个深度学习模型，需要搭建对应的环境，从零开始训练，耗时较长，并且当训练模型素材有变化，则每次都需从零开始重新训练，搭配训练环境步骤繁琐复杂，模型训练资源消耗大，资源利用率低，数据冗余度高，训练成本高。

技术实现思路

[0003]本专利技术的目的在于至少解决现有技术中存在的技术问题之一，提供一种基于容器技术的深度学习模型训练方法、设备及存储介质。
[0004]本专利技术解决其问题所采用的技术方案是：
[0005]本专利技术的第一方面，一种基于容器技术的深度学习模型训练方法，包括：
[0006]根据所述容器技术构建基础运行环境；
[0007]在所述基础运行环境中形成第一容器，在所述第一容器中构建第一深度学习模型；
[0008]输入第一训练数据至所述第一深度学习模型进行训练；
[0009]在所述基础运行环境中形成第二容器，将所述第一容器的数据迁移到所述第二容器，得到第二深度学习模型；
[0010]输入第二训练数据至第二深度学习模型进行训练，优化所述第二深度学习模型的输出层的参数。
[0011]根据本专利技术的第一方面，所述根据所述容器技术构建基础运行环境具体为：
[0012]在服务器上安装Docker；
[0013]获取深度学习框架的框架镜像；
[0014]建立训练指令与所述基础运行环境之间的调度关系，其中所述训练指令用于控制深度学习模型进行训练
[0015]根据本专利技术的第一方面，在所述基础运行环境中形成所述第一容器，在所述第一容器中构建第一深度学习模型的步骤具体为：
[0016]通过指令控制器发送激活指令到消息队列；
[0017]读取所述激活指令，激活所述框架镜像，形成所述第一容器；
[0018]将与深度学习模型对应的代码固化到所述第一容器形成所述第一深度学习模型。
[0019]根据本专利技术的第一方面，将所述第一训练数据输入至所述第一深度学习模型进行训练的具体步骤为：
[0020]将所述第一训练数据输入至所述第一容器；
[0021]通过指令控制器发送所述训练指令到消息队列；
[0022]读取所述消息队列中的所述训练指令的开始训练消息后，使所述第一深度学习模型从文件系统拉取所述第一训练数据；
[0023]使所述第一训练数据对所述第一深度学习模型训练，形成第一模型文件。
[0024]根据本专利技术的第一方面，在所述基础运行环境中形成所述第二容器，所述第一容器的数据迁移到所述第二容器，得到所述第二深度学习模型，包括以下步骤：
[0025]通过所述指令控制器发送激活指令到消息队列；
[0026]读取消息队列中的所述激活指令，激活所述框架镜像，形成所述第二容器；
[0027]将与深度学习模型对应的代码固化到所述第二容器，将所述第一容器中的所述第一模型文件下载到所述第二容器中，进而得到所述第二深度学习模型。
[0028]根据本专利技术的第一方面，输入所述第二训练数据至所述第二深度学习模型进行训练，优化所述第二深度学习模型的输出层的参数的具体步骤为：
[0029]将所述第二训练数据输入至所述第二容器；
[0030]通过所述指令控制器发送所述训练指令到消息队列；
[0031]读取所述消息队列中的所述训练指令的开始训练消息后，使所述第二深度学习模型从所述文件系统拉取所述第二训练数据；
[0032]使所述第二训练数据对所述第二深度学习模型训练，形成第二模型文件，进而优化所述第二深度学习模型的输出层的参数。
[0033]根据本专利技术的第一方面，深度学习模型包括至少以下之一：
[0034]卷积神经网络模型、递归神经网络模型、深度信念网络模型以及堆叠自动编码器模型；
[0035]所述卷积神经网络包括输入层、隐含层以及输出层；
[0036]所述隐含层包括卷积层、池化层以及全连接层；
[0037]所述卷积层用于对输入数据进行特征提取；
[0038]所述池化层用于对输出数据进行特征选择和信息过滤；
[0039]所述全连接层用于对提取的特征进行非线性组合以得到输出。
[0040]根据本专利技术的第一方面，所述第一深度学习模型和所述第二深度学习模型用于识别电网中的线巡缺陷。
[0041]本专利技术的第二方面，一种基于容器技术的深度学习模型训练设备，包括：
[0042]处理器；
[0043]存储器，用于存储可执行程序；
[0044]当所述可执行程序被所述处理器执行时，使得所基于容器技术的深度学习模型训练设备实现如本专利技术第一方面所述的基于容器技术的深度学习模型训练方法。
[0045]本专利技术第三方面，存储介质，所述存储介质存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如本专利技术第一方面所述的基于容器技术的深度学习模型训练方法。
[0046]上述一种基于容器技术的深度学习模型训练方法、设备及存储介质至少具有以下有益效果：本专利技术采用的一种基于容器技术的深度学习模型训练方法、设备及存储介质，对深度学习模型模型继续训练采用了容器化技术，使基于容器的深度学习训练，无需再准备
配置复杂的环境，可通过对已训练过的基于容器技术深度学习模型训练的最后一层网络参数进行调用，直接继承训练好的深度学习模型，可大大提高资源利用率，缩短训练时间，提高训练效率，数据冗余度低，节约成本，实用性强。
[0047]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0048]下面结合附图和实例对本专利技术作进一步说明。
[0049]图1为本专利技术提供的基于容器技术的神经网络模型训练方法的流程示意图；
[0050]图2为本专利技术提供的基于容器技术的神经网络模型训练方法的详细流程图。
具体实施方式
[0051]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0052]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。
[0053]Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。几乎没有性能开销，可以很容易地在机器和数据中心运行。最重要的是，他们不依赖于任何语言、框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于容器技术的深度学习模型训练方法，其特征在于，包括以下步骤：根据所述容器技术构建基础运行环境；在所述基础运行环境中形成第一容器，在所述第一容器中构建第一深度学习模型；输入第一训练数据至所述第一深度学习模型进行训练；在所述基础运行环境中形成第二容器，将所述第一容器的数据迁移到所述第二容器，得到第二深度学习模型；输入第二训练数据至第二深度学习模型进行训练，优化所述第二深度学习模型的输出层的参数。2.根据权利要求1所述的一种基于容器技术的深度学习模型训练方法，其特征在于，根据所述容器技术构建基础运行环境具体为：在服务器上安装Docker；获取深度学习框架的框架镜像；建立训练指令与所述基础运行环境之间的调度关系，其中所述训练指令用于控制深度学习模型进行训练。3.根据权利要求2所述的一种基于容器技术的深度学习模型训练方法，其特征在于，在所述基础运行环境中形成所述第一容器，在所述第一容器中构建所述第一深度学习模型的步骤具体为：通过指令控制器发送激活指令到消息队列；读取所述激活指令，激活所述框架镜像，形成所述第一容器；将与深度学习模型对应的代码固化到所述第一容器形成所述第一深度学习模型。4.根据权利要求3所述的一种基于容器技术的深度学习模型训练方法，其特征在于，将所述第一训练数据输入至所述第一深度学习模型进行训练的步骤具体为：将所述第一训练数据输入至所述第一容器；通过指令控制器发送所述训练指令到消息队列；读取所述训练指令的开始训练消息，使所述第一深度学习模型从文件系统拉取所述第一训练数据；使所述第一训练数据对所述第一深度学习模型训练，形成第一模型文件。5.根据权利要求4所述的一种基于容器技术的深度学习模型训练方法，其特征在于，在所述基础运行环境中形成所述第二容器，将所述第一容器的数据迁移到所述第二容器，得到所述第二深度学习模型，包括以下步骤：通过指令控制器发送激活指令到消息队列；读取所述激活指令，激活所述框架镜像...

【专利技术属性】
技术研发人员：杨正刚，李小芬，杨育，易文峰，
申请(专利权)人：南方电网深圳数字电网研究院有限公司，
类型：发明
国别省市：