深度学习作业的运行方法及装置制造方法及图纸

本发明专利技术提供了一种深度学习作业的运行方法及装置，该方法包括：通过获取待处理深度学习作业信息；其中待处理深度学习作业信息包括待处理深度学习作业的类型；然后根据待处理深度学习作业的类型在预设的运行策略中匹配得到待处理深度学习作业的类型所对应的调度策略；其中，调度策略包括深度学习作业的运行优先级；最后根据深度学习作业的运行优先级运行待处理深度学习作业。通过将深度学习作业与运行策略分开，作为独立的两个部分，仅在需要进行运行深度学习作业的时候在预设的运行策略中匹配得到深度学习作业的类型所对应的调度策略，其中调度策略包括深度学习作业的运行优先级，以达到统一所有的operator的优先级策略，以便于在后续的扩展维护的目的。

Operation method and device of deep learning

【技术实现步骤摘要】
深度学习作业的运行方法及装置
本专利技术涉及计算机
，特别涉及一种深度学习作业的运行方法及装置。
技术介绍
随着计算机技术发展的越来越快，Kubernetes应用的越来越多，Kubernetes是一个用于容器集群的自动化部署、扩容以及运维的开源平台，可以缩写为K8s；Kube-bath是K8s的批处理调度程序，为希望运行的K8s的批处理作业的应用程序提供机制；kubeflow是一个胶水项目，它把诸多对机器学习的支持，比如模型训练，超参数训练，模型部署等进行组合并已容器化的方式进行部署，提供整个流程各个系统的高可用及方便的进行扩展部署了kubeflow的用户就可以利用它进行不同的机器学习深度学习作业。不同类型的深度学习作业被称为operator，例如tensorflow的就叫做tf-operator。目前，在Kube-bath进行调度的时候会有深度学习作业(job)的优先级选项，而在Kubeflow中包含多种operator，且每种job都会有优先级的设定，但一直也没有一个统一的标准，并且也没有完全实现，导致在后续的扩展维护的过程中十分的不便。
技术实现思路
有鉴于此，本专利技术实施例提供一种深度学习作业的运行方法及装置，用于统一所有的operator的优先级策略，以便于在后续的扩展维护。为实现上述目的，本专利技术实施例提供如下技术方案：一种深度学习作业的运行方法，包括：获取待处理深度学习作业的信息；其中，所述待处理深度学习作业的信息包括所述待处理深度学习作业的类型；根据所述待处理深度学习作业的类型，在所述预设的运行策略中匹配得到所述待处理深度学习作业的类型所对应的调度策略；其中，所述调度策略包括深度学习作业的运行优先级；根据所述深度学习作业的运行优先级，运行所述待处理深度学习作业。可选的，所述根据所述深度学习作业的运行优先级，运行所述待处理深度学习作业，包括：判断所述待处理深度学习作业的运行优先级是否大于正在运行的深度学习作业的运行优先级；若判断出所述待处理深度学习作业的运行优先级大于或等于所述正在运行的深度学习作业的运行优先级，则暂停所述正在运行的深度学习作业，运行所述待处理深度学习作业；若判断出所述待处理深度学习作业的运行优先级小于所述正在运行的深度学习作业的运行优先级，则继续运行所述正在运行的深度学习作业，将所述待处理深度学习作业放入运行队列中。可选的，所述将所述待处理深度学习作业放入运行队列中之后，还包括：将所述运行队列中的每一个深度学习作业和所述待处理深度学习作业按照运行优先级的大小进行排序。可选的，所述深度学习作业的运行方法，还包括：每隔预设的时间更新所述运行策略中的深度学习作业的信息以及每一个深度学习作业的类型所对应的调度策略。一种深度学习作业的运行装置，包括：获取单元，用于获取待处理深度学习作业的信息；其中，所述待处理深度学习作业的信息包括所述待处理深度学习作业的类型；匹配单元，用于根据所述待处理深度学习作业的类型，在所述预设的运行策略中匹配得到所述待处理深度学习作业的类型所对应的调度策略；其中，所述调度策略包括深度学习作业的运行优先级；执行单元，用于根据所述深度学习作业的运行优先级运行所述待处理深度学习作业。可选的，所述执行单元，包括：判断单元，用于判断所述待处理深度学习作业的运行优先级是否大于正在运行的深度学习作业的运行优先级；执行子单元，用于若所述判断单元判断出，所述待处理深度学习作业的运行优先级大于或等于所述正在运行的深度学习作业的运行优先级，则暂停所述正在运行的深度学习作业，运行所述待处理深度学习作业；所述执行子单元，还用于若所述判断单元判断出，所述待处理深度学习作业的运行优先级小于所述正在运行的深度学习作业的运行优先级，则继续运行所述正在运行的深度学习作业，将所述待处理深度学习作业放入运行队列中。可选的，所述一种深度学习作业的运行装置，还包括：排序单元，用于将所述运行队列中的每一个深度学习作业和所述待处理深度学习作业按照运行优先级的大小进行排序。可选的，所述一种深度学习作业的运行装置，还包括：更新单元，用于每隔预设的时间更新所述运行策略中的深度学习作业的信息以及每一个深度学习作业的类型所对应的调度策略。由以上方案可知，本专利技术提供的一种深度学习作业的运行方法及装置中，通过获取待处理深度学习作业信息；其中，所述待处理深度学习作业信息包括所述待处理深度学习作业的类型；然后根据所述待处理深度学习作业的类型在所述预设的运行策略中匹配得到所述待处理深度学习作业的类型所对应的调度策略；其中，所述调度策略包括深度学习作业的运行优先级；最后根据所述深度学习作业的运行优先级运行所述待处理深度学习作业。通过将深度学习作业与运行策略分开，作为独立的两个部分，仅在需要进行运行深度学习作业的时候在预设的运行策略中匹配得到深度学习作业的类型所对应的调度策略，其中调度策略包括深度学习作业的运行优先级，以达到统一所有的operator的优先级策略，以便于在后续的扩展维护的目的。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种深度学习作业的运行方法的具体流程图；图2为本专利技术另一实施例提供的一种深度学习作业的运行方法的具体流程图；图3为本专利技术实施例提供的一种深度学习作业的运行装置的示意图；图4为本专利技术另一实施例提供的一种深度学习作业的运行装置的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供了一种深度学习作业的运行方法，如图1所示，该方法包括了以下步骤：S101、获取待处理深度学习作业的信息。其中，待处理深度学习作业的信息包括待处理深度学习作业的类型(job_type)、待处理深度学习作业的的作业名称(job_name)、待处理深度学习作业的存储位置(app_url、boot_file)等。需要说明的是，深度学习作业为在kubeflow中每进行一次深度学习的任务处理；其中，kubeflow是一个胶水项目，它把诸多对机器学习的支持，比如模型训练，超参数训练，模型部署等进行组合并已容器化的方式进行部署，提供整个流程各个系统的高可用及方便的进行扩展部署了kubeflow的用户就可以利用它进行不同的机器学习深度学习作业。不同类型的深度学习作业被称为o本文档来自技高网...

【技术保护点】
1.一种深度学习作业的运行方法，其特征在于，包括：/n获取待处理深度学习作业的信息；其中，所述待处理深度学习作业的信息包括所述待处理深度学习作业的类型；/n根据所述待处理深度学习作业的类型，在所述预设的运行策略中匹配得到所述待处理深度学习作业的类型所对应的调度策略；其中，所述调度策略包括深度学习作业的运行优先级；/n根据所述深度学习作业的运行优先级，运行所述待处理深度学习作业。/n

【技术特征摘要】
1.一种深度学习作业的运行方法，其特征在于，包括：
获取待处理深度学习作业的信息；其中，所述待处理深度学习作业的信息包括所述待处理深度学习作业的类型；
根据所述待处理深度学习作业的类型，在所述预设的运行策略中匹配得到所述待处理深度学习作业的类型所对应的调度策略；其中，所述调度策略包括深度学习作业的运行优先级；
根据所述深度学习作业的运行优先级，运行所述待处理深度学习作业。


2.根据权利要求1所述的方法，其特征在于，所述根据所述深度学习作业的运行优先级，运行所述待处理深度学习作业，包括：
判断所述待处理深度学习作业的运行优先级是否大于正在运行的深度学习作业的运行优先级；
若判断出所述待处理深度学习作业的运行优先级大于或等于所述正在运行的深度学习作业的运行优先级，则暂停所述正在运行的深度学习作业，运行所述待处理深度学习作业；
若判断出所述待处理深度学习作业的运行优先级小于所述正在运行的深度学习作业的运行优先级，则继续运行所述正在运行的深度学习作业，将所述待处理深度学习作业放入运行队列中。


3.根据权利要求2所述的方法，其特征在于，所述将所述待处理深度学习作业放入运行队列中之后，还包括：
将所述运行队列中的每一个深度学习作业和所述待处理深度学习作业按照运行优先级的大小进行排序。


4.根据权利要求1所述的方法，其特征在于，还包括：
每隔预设的时间更新所述运行策略中的深度学习作业的信息以及每一个深度学习作业的类型所对应的调度策略。


5.一种深度...

【专利技术属性】
技术研发人员：李铭琨，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32