任务搜索方法及装置、服务器和存储介质制造方法及图纸

本公开公开了任务搜索方法及装置、服务器和存储介质，涉及计算机技术领域，尤其涉及深度学习技术领域。具体实现方案为：获取与初始任务对应的任务调度策略，其中，任务调度策略包括推理时长任务调度策略和训练任务调度策略，推理时长任务调度策略用于调节推理场景下初始任务对应的推理时长，训练任务调度策略用于调节训练场景下初始任务对应的搜索时长；获取初始任务对应的训练运行方式；采用推理时长任务调度策略、训练任务调度策略和训练运行方式对初始任务进行搜索，得到目标任务。本公开实施例可以降低搜索时长，提高任务搜索方案的适用性。适用性。适用性。

【技术实现步骤摘要】
任务搜索方法及装置、服务器和存储介质


[0001]本公开涉及计算机
，尤其涉及一种任务搜索方法及装置、服务器和存储介质。

技术介绍

[0002]深度学习是机器学习领域中的一个研究方向，其可以学习样本数据的内在规律和表示层次，从而可以使机器模仿视听和思考等人类的活动。相关技术中，可以采用深度学习编译器对深度学习模型进行训练和推理。然而，相关技术中，采用深度学习编译器对深度学习模型进行自动优化时需要的搜索时长较长，不适用于训练场景。

技术实现思路

[0003]本公开提供了一种任务搜索方法及装置、服务器和存储介质，主要目的在于降低搜索时长，提高任务搜索方案的适用性。
[0004]根据本公开的一方面，提供了一种任务搜索方法，包括：
[0005]获取与初始任务对应的任务调度策略，其中，所述任务调度策略包括推理时长任务调度策略和训练任务调度策略，所述推理时长任务调度策略用于调节推理场景下所述初始任务对应的推理时长，所述训练任务调度策略用于调节训练场景下所述初始任务对应的搜索时长；
[0006]获取所述初始任务对应的训练运行方式；
[0007]采用所述推理时长任务调度策略、训练任务调度策略和所述训练运行方式对所述初始任务进行搜索，得到目标任务。
[0008]根据本公开的另一方面，提供了一种任务搜索装置，包括：
[0009]策略获取单元，用于获取与初始任务对应的任务调度策略，其中，所述任务调度策略包括推理时长任务调度策略和训练任务调度策略，所述推理时长任务调度策略用于调节推理场景下所述初始任务对应的推理时长，所述训练任务调度策略用于调节训练场景下所述初始任务对应的搜索时长；
[0010]方式获取单元，用于获取所述初始任务对应的训练运行方式；
[0011]任务获取单元，用于采用所述推理时长任务调度策略、训练任务调度策略和所述训练运行方式对所述初始任务进行搜索，得到目标任务。
[0012]根据本公开的另一方面，提供了一种服务器，包括：
[0013]至少一个处理器；以及
[0014]与所述至少一个处理器通信连接的存储器；其中，
[0015]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述一方面中任一项所述的方法。
[0016]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述一方面中任一项所述的方法。
Representation，IR)及对应的运行方式组成。其中，高层中间表达用来表达深度学习计算图结构，其包含深度学习的变量(Variable)，算子(Operator)的表示。低层中间表示则是算子的具体计算，比如高层中间表示的矩阵乘算子，在底层中间表示则是更具体的循环、求乘、求和操作，这些操作也更接近硬件的低层指令。
[0034]在一些实施例中，服务器中可以设置深度学习编译器。进而，服务器在对深度学习模型进行训练和推理时，可以采用深度学习编译器搜索与深度学习模型匹配的配置。
[0035]在一些实施例中，服务器采用深度学习编译器搜索与深度学习模型匹配的配置时，需要将经过深度学习优化后的计算图输入至深度学习编译器以供深度学习编译器搜索。
[0036]然而，深度学习编译器对计算图进行搜索时，由于需要尝试和搜索不同的优化配置，搜索量大，整个计算图都需要进行搜索尝试。因此，服务器进行搜索的时间较长。
[0037]易于理解的是，在对深度学习模型进行推理时，可以通过离线耗费时间来进行搜索，然后再上线对深度学习模型进行推理。然而，在对深度学习模型进行训练时，用户需要通过深度学习模型的训练迭代了解深度学习模型的训练效果，如果搜索时间过长会增加深度学习模型的训练时长。由于自动优化技术需要的优化时间长，往往数十小时，仅适用深度学习推理场景，但是在训练场景上适用性则较差。
[0038]下面结合具体的实施例对本公开进行详细说明。
[0039]在第一个实施例中，如图1所示，图1是根据本公开第一实施例的任务搜索方法的流程示意图，该方法可依赖于计算机程序实现，可运行于进行任务搜索的装置上，可以是具有任务搜索功能的服务器。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
[0040]具体的，该任务搜索方法包括：
[0041]S101，获取与初始任务对应的任务调度策略；
[0042]根据一些实施例，任务Task指的是深度学习神经网络模型进行训练推理时，使用的计算图子图。该任务并不特指某一固定任务。例如，当计算图发生变化时，该任务可以发生变化。当计算图子图发生变化时，该任务也可以发生变化。
[0043]在一些实施例中，初始任务指的是需要进行调优搜索的任务。该初始任务并不特指某一固定任务。例如，当计算图发生变化时，该初始任务可以发生变化。当计算图子图发生变化时，该初始任务也可以发生变化。
[0044]根据一些实施例，任务调度策略指的是服务器对初始任务进行搜索时所采用的策略。该任务调度策略包括但不限于推理时长任务调度策略、训练任务调度策略等等。该任务调度策略并不特指某一固定策略。例如，当初始任务发生变化时，该任务调度策略可以发生变化。当计算图发生变化时，该任务调度策略也可以发生变化。
[0045]在一些实施例中，推理时长任务调度策略指的是用于调节推理场景下初始任务对应的推理时长的策略。该推理时长任务调度策略并不特指某一固定策略。例如，当任务调度策略发生变化时，该推理时长任务调度策略可以发生变化。当初始任务发生变化时，该推理时长任务调度策略也可以发生变化。
[0046]在一些实施例中，训练任务调度策略指的是用于调节训练场景下初始任务对应的搜索时长的策略。该训练任务调度策略并不特指某一固定策略。例如，当任务调度策略发生
变化时，该训练任务调度策略可以发生变化。当初始任务发生变化时，该训练任务调度策略也可以发生变化。
[0047]易于理解的是，当服务器进行任务搜索时，服务器可以获取与初始任务对应的任务调度策略。
[0048]S102，获取初始任务对应的训练运行方式；
[0049]根据一些实施例，训练运行方式指的是服务器对深度学习神经网络模型进行训练时，采用的训练运行方式。该训练运行方式并不特指某一固定方式。例如，当深度学习神经网络模型发生变化时，该训练运行方式可以发生变化。当初始任务发生变化时，该训练运行方式也可以发生变化。
[0050]易于理解的是，当服务器获取到与初始任务对应的任务调度策略时，服务器可以获取初始任务对应的训练运行方式。
[0051]S103，采用推理时长任务调度策略、训练任务调度策略和训练运行方式对初始任务进行搜索，得到目标任务。
[0052]根据一些实施例，目标任务指的是对初始任务进行调优搜索后得到的任务。该目标任务并不特指某一固定任务。例如，当初始任务发生变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务搜索方法，包括：获取与初始任务对应的任务调度策略，其中，所述任务调度策略包括推理时长任务调度策略和训练任务调度策略，所述推理时长任务调度策略用于调节推理场景下所述初始任务对应的推理时长，所述训练任务调度策略用于调节训练场景下所述初始任务对应的搜索时长；获取所述初始任务对应的训练运行方式；采用所述推理时长任务调度策略、训练任务调度策略和所述训练运行方式对所述初始任务进行搜索，得到目标任务。2.根据权利要求1所述的方法，其中，所述获取与初始任务对应的任务调度策略，包括：在展示界面上展示与所述初始任务对应的推理时长任务调度策略集合；获取针对所述推理时长任务调度策略集合所输入的选择指令；获取所述选择指令对应的推理时长任务调度策略。3.根据权利要求1所述的方法，其中，所述采用所述推理时长任务调度策略、训练任务调度策略和所述训练运行方式对所述初始任务进行搜索，得到目标任务，包括：采用所述推理时长任务调度策略、训练任务调度策略和所述训练运行方式对所述初始任务进行搜索时，获取所述训练场景下所述初始任务对应的优化潜力值；若所述优化潜力值小于潜力阈值，则停止对所述初始任务进行搜索。4.根据权利要求3所述的方法，其中，在所述获取所述初始任务对应的优化潜力值之后，还包括：获取与所述优化潜力值对应的时间资源信息；对所述初始任务分配与所述时间资源信息对应的搜索时长。5.根据权利要求1所述的方法，其中，在采用所述推理时长任务调度策略、训练任务调度策略和所述训练运行方式对所述初始任务进行搜索，得到目标任务之后，还包括：获取并存储所述目标任务对应的第一目标配置信息。6.根据权利要求1所述的方法，其中，在获取与初始任务对应的任务调度策略之前，还包括：若确定缓存中存在与所述初始任务对应的第二目标配置信息，则基于所述第二目标配置信息获取硬件代码；控制硬件运行所述硬件代码，获取所述初始任务对应的运行信息。7.根据权利要求1所述的方法，其中，所述采用所述推理时长任务调度策略、训练任务调度策略和所述训练运行方式对所述初始任务进行搜索，得到目标任务，包括：采用所述推理时长任务调度策略、训练任务调度策略和所述训练运行方式对所述初始任务进行搜索，得到目标任务时，获取控制所述初始任务迭代运行训练样本数据的第一运行时间，获取控制硬件运行所述训练样本数据的第二运行时间，其中，所述第一运行时间和所述第二运行时间存在重合运行时间。8.一种任务搜索装置，包括：策略获取单元，用于获取与初始任务对应的任务调度策略，其中，所述任务调度策略包括推理时长任务调度策略和训练任务调度策略，所述推理时长任务调度策略用于调节推理场景下所述初始任务对应的推理时长，所述训练任务调度策略用于调节训练场景下所述初
始任务对应的搜索时长；方式获取单元，用于获取所述初始任务对应的训练运行方式；任务获取单元，用于采用所述推理时长任务调度策略、训练任务调度策略和所述训练运行方式对所述初始任务进行搜索，得到目标任务。9.根据权利要求8所述的装置，其中，所述策略获取单元包括集合展示子单元、指令获取子单元和策略获取子单元，所述策略获取单元用于...

【专利技术属性】
技术研发人员：郑辉煌，陈特峰，陈浩泽，王悦，王震，刘益群，孙黎，姜程，石晓伟，蓝翔，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：