任务执行方法、装置、电子设备及计算机存储介质制造方法及图纸

本公开提供了任务执行方法、装置、电子设备及计算机存储介质，涉及计算机技术领域，尤其涉及云计算、大数据、计算机视觉、以及深度学习等人工智能技术领域。具体实现方案为：获取可用资源的信息；根据所述可用资源的信息，确定执行目标任务的子任务的第一并行数量；根据所述第一并行数量，调整所述子任务。本公开实施例能够提高资源利用率和任务执行效率。施例能够提高资源利用率和任务执行效率。施例能够提高资源利用率和任务执行效率。

【技术实现步骤摘要】
任务执行方法、装置、电子设备及计算机存储介质


[0001]本公开涉及计算机
，尤其涉及云计算、大数据、计算机视觉、以及深度学习等人工智能


技术介绍

[0002]随着计算机技术的发展，在深度学习、机器学习、图像处理、数据计算等多种场景边，计算机任务可拆分成多个子任务进行并行执行。然而任务执行处理时，可利用的资源数量有限，如何利用优先的资源更为快速、高效地执行任务，是需要不断改进的一个问题。

技术实现思路

[0003]本公开提供了一种任务执行方法、装置、电子设备及计算机存储介质。
[0004]根据本公开的一方面，提供了一种任务执行方法，包括：
[0005]获取可用资源的信息；
[0006]根据可用资源的信息，确定执行目标任务的子任务的第一并行数量；
[0007]根据第一并行数量，调整子任务。
[0008]根据本公开的另一方面，提供了一种任务执行装置，包括：
[0009]资源信息获取模块，用于获取可用资源的信息；
[0010]第一并行数量确定模块，用于根据可用资源的信息，确定执行目标任务的子任务的第一并行数量；
[0011]调整模块，用于根据第一并行数量，调整子任务。
[0012]根据本公开的另一方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与该至少一个处理器通信连接的存储器；其中，
[0015]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
[0016]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
[0017]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例中的方法。
[0018]根据本公开的技术，能够确定可用资源的信息，根据可用资源的信息确定目标任务的子任务能够并行执行的数量，即第一并行数量，根据确定的第一并行数量调整子任务，从而，在各种计算机任务的执行场景下，能够根据可用资源实行子任务的并行数量的弹性伸缩调整，实现可用资源有效利用率的最大化，同时也能够利用可用资源将子任务执行速度调整至最大。
[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0021]图1是根据本公开一实施例的任务执行方法示意图；
[0022]图2是根据本公开另一实施例的任务执行方法示意图；
[0023]图3是根据本公开一示例的任务执行方法示意图；
[0024]图4是根据本公开一示例的任务执行框架示意图；
[0025]图5是根据本公开一实施例的任务执行装置示意图；
[0026]图6是根据本公开另一实施例的任务执行装置示意图；
[0027]图7是根据本公开又一实施例的任务执行装置示意图；
[0028]图8是根据本公开又一实施例的任务执行装置示意图；
[0029]图9是根据本公开又一实施例的任务执行装置示意图；
[0030]图10是根据本公开又一实施例的任务执行装置示意图；
[0031]图11是根据本公开又一实施例的任务执行装置示意图；
[0032]图12是用来实现本公开实施例的任务执行方法的电子设备的框图。
具体实施方式
[0033]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0034]根据本公开的实施例，提供了一种任务执行方法，图1是根据本公开实施例的任务执行方法的流程示意图，该方法可以应用于任务执行装置，例如，该装置可以部署于终端或服务器或其它处理设备执行的情况下，可以执行可用资源信息的获取、并行数量的确定等步骤。其中，终端可以为用户设备(UE，User Equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(PDA，Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，任务执行方法包括：
[0035]步骤S11：获取可用资源的信息；
[0036]步骤S12：根据可用资源的信息，确定执行目标任务的子任务的第一并行数量；
[0037]步骤S13：根据第一并行数量，调整子任务。
[0038]本实施例中，可用资源的信息，可以用于表示可用资源的数量，即可用资源的数量信息。具体可以表示可用资源所能够支持的子任务进行运行的数量。比如，当前可用资源足以共用1
‑
10个子任务进行运行。
[0039]可用资源可以是用于运行子任务的资源。比如，内存、缓存、CPU(Central Processing Unit，中央处理器)、磁盘、硬盘等软件资源、硬件资源中的至少一种。
[0040]本实施例中，目标任务可以是任意一种计算机处理任务或者计算机计算任务。比如图像处理、数据计算、数据传输、数据获取、数据存储、模型训练、机器学习、深度学习等中的至少任意一种。
[0041]目标任务可以是当前系统运行的多个任务之一，或者是当前系统即将新增的多个
任务之一。也可以是当前系统中唯一处于运行状态的任务，或者是当前系统即将新增的任务。
[0042]执行目标任务的子任务，可以是为实现目标任务而运行的至少一个任务。子任务的内容可以等同于目标任务本身，比如，在一种具体实现方式中，目标任务可以为机器学习任务，为了实现机器学习的目的，可同时启动至少一个子任务，每个子任务用于对至少一个机器学习模型进行训练，在完成训练之后，从至少一个子任务对应的至少一个机器学习模型中，选择训练效果最佳的模型，作为执行目标任务而得到的模型。
[0043]在另一种具体实现方式中，子任务也可以是目标任务拆分的多个部分。比如，目标任务包括不分先后顺序的多个步骤，每个步骤可构成一个子任务，在不区分先后顺序的多个步骤执行完毕后，根据各子任务的执行结果，得到最终的结果，作为目标任务的执行结果。
[0044]执行目标任务的子任务的第一并行数量，可以是现有的可用资源能够支持同时运行的子任务的数量。
[0045]根据第一并行数量，调整子任务，可以是调整子任务并行的数量，使得子任务并行的数量与第一并行数量相符本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务执行方法，包括：获取可用资源的信息；根据所述可用资源的信息，确定执行目标任务的子任务的第一并行数量；根据所述第一并行数量，调整所述子任务。2.根据权利要求1所述的方法，其中，所述根据所述可用资源的信息，确定执行目标任务的子任务的第一并行数量，包括：确定当前执行所述目标任务的子任务的第二并行数量；在所述可用资源的信息表示能够增加新的子任务的情况下，按照预设的调整步长，上调所述第二并行数量；将上调后的第二并行数量作为所述第一并行数量。3.根据权利要求2所述的方法，其中，所述根据所述可用资源的信息，确定执行目标任务的子任务的第一并行数量，包括：在所述可用资源的信息表示不足以供当前数量的子任务使用的情况下，按照预设的调整步长，下调所述第二并行数量；将下调后的第二并行数量作为所述第一并行数量。4.根据权利要求2或3所述的方法，其中，所述根据所述第一并行数量，调整所述子任务，包括：在所述第一并行数量大于当前执行所述目标任务的子任务的第二并行数量的情况下，启动新的子任务。5.根据权利要求2
‑
4中任意一项所述的方法，其中，所述根据所述第一并行数量，调整所述子任务，包括：在所述第一并行数量小于当前执行所述目标任务的子任务的第二并行数量的情况下，待当前执行所述目标任务的子任务运行完毕之后，根据所述第一并行数量启动新的子任务。6.根据权利要求1
‑
5中任意一项所述的方法，其中，所述方法还包括：监测到所述目标任务的变更事件的情况下，将所述目标任务加入任务队列；在所述目标任务从所述任务队列中出队的情况下，执行所述根据所述可用资源的信息，确定执行目标任务的子任务的第一并行数量的步骤。7.根据权利要求6所述的方法，其中，所述将所述目标任务加入任务队列，包括：确定所述目标任务在所述任务队列中对应的顺序；根据所述顺序，将所述目标任务加入所述任务队列。8.一种任务执行装置，包括：资源信息获取模块，用于获取可用资源的信息；第一并行数量确定模块，用于根据所述可用资源的信息，确定执行目标任务的子任务的第一并行数量；调整模块，用于根据所述第一并行数量，调整所述子任务。9.根据权利要求8所述的装置，其中，所述第一并行数量确定模块包括：第二并行数量确定单元，用于确定当前执行所述目标任务的子任务的第二并行数量；上调单元，用于在所述可...

【专利技术属性】
技术研发人员：唐亮，徐彬彬，赵颖，李曙鹏，施恩，钱正宇，谢永康，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：