一种任务执行方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种任务执行方法、装置及电子设备。其中，所述方法包括：获取待执行任务的代码中各语法元素的语法解析特征和所述待执行任务所需处理的数据的元数据特征；将所述语法解析特征和所述元数据特征输入至预先经过训练的参数预测模型，得到所述参数预测模型输出的目标运行参数；调用所述目标运行参数所表示的运行资源执行所述待执行任务；其中，所述参数预测模型预先经过参数预测训练集的训练，所述参数预测训练集包括参数预测样本任务的代码中各语法元素的语法解析特征、所述参数预测样本任务所需处理的数据的元数据特征以及针对所述参数预测样本任务优化得到的运行参数。可以自动为任务分配合理的运行资源。源。源。

【技术实现步骤摘要】
一种任务执行方法、装置及电子设备


[0001]本专利技术涉及大数据
，特别是涉及一种任务执行方法、装置及电子设备。

技术介绍

[0002]为完成大数据处理任务，需要为大数据处理任务分配一定的运行资源。如果为大数据处理任务分配的运行资源过少，则完成该大数据处理任务的所需时长较长，而如果为大数据处理任务分配的运行资源过多，则将导致系统资源的浪费，
[0003]因此，如何合理地为大数据处理任务分配运行资源成为亟待解决的技术问题。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种任务执行方法、装置及电子设备，以实现为任务分配合理的运行资源。具体技术方案如下：
[0005]在本专利技术实施例的第一方面，提供了一种任务执行方法，所述方法包括：
[0006]获取待执行任务的代码中各语法元素的语法解析特征和所述待执行任务所需处理的数据的元数据特征；
[0007]将所述待执行任务的语法解析特征和元数据特征输入至预先经过训练的参数预测模型，得到所述参数预测模型输出的目标运行参数；
[0008]调用所述目标运行参数所表示的运行资源执行所述待执行任务；
[0009]其中，所述参数预测模型预先经过参数预测训练集的训练，所述参数预测训练集包括参数预测样本任务的代码中各语法元素的语法解析特征、所述参数预测样本任务所需处理的数据的元数据特征以及针对所述参数预测样本任务优化得到的参数预测训练集中的运行参数。
[0010]在一种可能的实施例中，所述参数预测模型预先通过以下方式训练得到：
[0011]将参数预测训练集中的语法解析特征和元数据特征输入至参数初始模型，得到所述参数初始模型输出的预测运行参数；
[0012]对所述预测运行参数和所述参数预测训练集中的运行参数进行拟合，得到参数预测模型。
[0013]在一种可能的实施例中，所述待执行任务的数量为多个，所述方法还包括：
[0014]针对每个所述待执行任务，将所述待执行任务的语法解析特征、元数据特征以及所述目标运行参数输入至预先经过训练的时长预测模型，得到所述时间预测模型输出的预测运行时长；
[0015]所述调用所述目标运行参数所表示的运行资源执行所述待执行任务，包括：
[0016]根据当前可调用的运行资源、每个所述待执行任务的所述预测运行时长、所述目标运行参数所表示的运行资源，确定目标待执行任务；
[0017]调用所述目标待执行任务的所述目标运行参数所表示的运行资源执行所述目标待执行任务；
[0018]其中，所述时长预测模型预先经过时长预测训练集的训练，所述时长预测训练集包括时长预测样本任务的代码中各语法元素的语法解析特征、所述时长预测样本任务所需处理的样本数据的元数据特征、运行参数、调用所述时长预测训练集中的运行参数所表示的运行资源对所述时长预测训练集执行所述时长预测样本任务所需的实际运行时长。
[0019]在一种可能的实施例中，所述时长预测模型预先通过以下方式训练得到：
[0020]将时长预测训练集中的语法解析特征和元数据特征以及所述时长预测训练集中的运行参数输入至时长初始模型，得到所述时长初始模型输出的输出运行时长；
[0021]根据所述预测运行时长与所述实际运行时长的差异，调整所述时长初始模型的模型参数，得到时长预测模型。
[0022]在一种可能的实施例中，所述方法还包括：
[0023]根据每个所述待执行任务的输入数据和输出数据，确定各个所述待执行任务之间的上下游关系；
[0024]根据所确定的上下游关系，将所有所述待执行任务划分为多个待执行任务序列，其中，每个所述待执行任务序列中每两个相邻的待执行任务之间存在上下游关系；
[0025]所述根据当前可调用的运行资源、每个所述待执行任务的所述预测运行时长、所述目标运行参数所表示的运行资源，确定目标待执行任务，包括：
[0026]针对每个所述待执行任务序列，根据所述待执行任务序列中各个所述待执行任务的所述预测运行时长、所述目标运行参数所表示的运行资源，确定完成所述待执行任务序列所需的序列运行时长和序列运行资源；
[0027]根据当前可调用的运行资源、各个所述待执行任务的所述序列运行时长、所述序列运行资源，确定目标待执行任务序列；
[0028]依次将所述目标待执行任务序列中的每个所述待执行任务确定为目标待执行任务。
[0029]在一种可能的实施例中，所述根据当前可调用的运行资源、各个所述待执行任务的所述序列运行时长、所述序列运行资源，确定目标待执行任务序列，包括：
[0030]按照总预测运行时长由大到小的顺序，依次针对每个所述待执行任务序列，若所述待执行任务序列的序列运行资源小于当前可调用的运行资源，将所述待执行任务序列确定为目标待执行任务序列。
[0031]在本专利技术实施例的第二方面，提供了一种任务执行装置，所述装置包括：
[0032]获取模块，用于获取待执行任务的代码中各语法元素的语法解析特征和所述待执行任务所需处理的数据的元数据特征；
[0033]参数预测模块，用于将所述语法解析特征和所述元数据特征输入至预先经过训练的参数预测模型，得到所述参数预测模型输出的目标运行参数；
[0034]调度模块，用于调用所述目标运行参数所表示的运行资源执行所述待执行任务；
[0035]其中，所述参数预测模型预先经过参数预测训练集的训练，所述参数预测训练集包括参数预测样本任务的代码中各语法元素的语法解析特征、所述参数预测样本任务所需处理的数据的元数据特征以及针对所述参数预测样本任务优化得到的运行参数。
[0036]在一种可能的实施例中，所述装置还包括参数预测模型训练模块，用于预先通过以下方式训练得到所述参数预测模型：
[0037]将参数预测训练集中的语法解析特征和参数预测训练集中的元数据特征输入至参数初始模型，得到所述参数初始模型输出的预测运行参数；
[0038]对所述预测运行参数和所述参数预测训练集中的运行参数进行拟合，得到参数预测模型。
[0039]在一种可能的实施例中，所述待执行任务的数量为多个，所述装置还包括：
[0040]时长预测模块，用于针对每个所述待执行任务，将所述待执行任务的所述语法解析特征、所述元数据特征以及所述目标运行参数输入至预先经过训练的时长预测模型，得到所述时间预测模型输出的预测运行时长；
[0041]其中，所述时长预测模型预先经过时长预测训练集的训练，所述时长预测训练集包括时长预测样本任务的代码中各语法元素的语法解析特征、所述时长预测样本任务所需处理的样本数据的元数据特征、运行参数、调用所述时长预测训练集中的运行参数所表示的运行资源对所述时长预测训练集执行所述时长预测样本任务所需的实际运行时长；
[0042]所述调度模块，调用所述目标运行参数所表示的运行资源执行所述待执行任务，包括：
[0043]根据当前可调用的运行资源、每个所述待执本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务执行方法，其特征在于，所述方法包括：获取待执行任务的代码中各语法元素的语法解析特征和所述待执行任务所需处理的数据的元数据特征；将所述待执行任务的语法解析特征和元数据特征输入至预先经过训练的参数预测模型，得到所述参数预测模型输出的目标运行参数；调用所述目标运行参数所表示的运行资源执行所述待执行任务；其中，所述参数预测模型预先经过参数预测训练集的训练，所述参数预测训练集包括参数预测样本任务的代码中各语法元素的语法解析特征、所述参数预测样本任务所需处理的数据的元数据特征以及针对所述参数预测样本任务优化得到的运行参数。2.根据权利要求1所述的方法，其特征在于，所述参数预测模型预先通过以下方式训练得到：将参数预测训练集中的语法解析特征和元数据特征输入至参数初始模型，得到所述参数初始模型输出的预测运行参数；对所述预测运行参数和所述参数预测训练集中的运行参数进行拟合，得到参数预测模型。3.根据权利要求1所述的方法，其特征在于，所述待执行任务的数量为多个，所述方法还包括：针对每个所述待执行任务，将所述待执行任务的语法解析特征、元数据特征以及所述目标运行参数输入至预先经过训练的时长预测模型，得到所述时间预测模型输出的预测运行时长；所述调用所述目标运行参数所表示的运行资源执行所述待执行任务，包括：根据当前可调用的运行资源、每个所述待执行任务的所述预测运行时长、所述目标运行参数所表示的运行资源，确定目标待执行任务；调用所述目标待执行任务的所述目标运行参数所表示的运行资源执行所述目标待执行任务；其中，所述时长预测模型预先经过时长预测训练集的训练，所述时长预测训练集包括时长预测样本任务的代码中各语法元素的语法解析特征、所述时长预测样本任务所需处理的样本数据的元数据特征、运行参数、调用所述时长预测训练集中的运行参数所表示的运行资源对所述时长预测训练集执行所述时长预测样本任务所需的实际运行时长。4.根据权利要求3所述的方法，其特征在于，所述时长预测模型预先通过以下方式训练得到：将时长预测训练集中的语法解析特征和元数据特征以及所述时长预测训练集中的运行参数输入至时长初始模型，得到所述时长初始模型输出的输出运行时长；根据所述预测运行时长与所述实际运行时长的差异，调整所述时长初始模型的模型参数，得到时长预测模型。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据每个所述待执行任务的输入数据和输出数据，确定各个所述待执行任务之间的上下游关系；根据所确定的上下游关系，将所有所述待执行任务划分为多个待执行任务序列，其中，
每个所述待执行任务序列中每两个相邻的待执行任务之间存在上下游关系；所述根据当前可调用的运行资源、每个所述待执行任务的所述预测运行时长、所述目标运行参数所表示的运行资源，确定目标待执行任务，包括：针对每个所述待执行任务序列，根据所述待执行任务序列中各个所述待执行任务的所述预测运行时长、所述目标运行参数所表示的运行资源，确定完成所述待执行任务序列所需的序列运行时长和序列运行资源；根据当前可调用的运行资源、各个所述待执行任务的所述序列运行时长、所述序列运行资源，确定目标待执行任务序列；依次将所述目标待执行任务序列中的每个所述待执行任务确定为目标待执行任务。6.根据权利要求5所述的方法，其特征在于，所述根据当前可调用的运行资源、各个所述待执行任务的所述序列运行时长、所述序列运行资源，确定目标待执行任务序列，包括：按照总预测运行时长由大到小的顺序，依次针对每个所述待执行任务序列，若所述待执行任务序列的序列运行资源小于当前可调用的运行资源，将所述待执行任务序列确定为目标待执行任务序列。7.一种任务执行装置，其特征在于，所述装置包括：获取模块，用于获取待执行任务的代码中各语法元素的语法解析特征和所述待执行任务所需处理的数据的元数据特征；参数预测模块，用于将所述语法解析特征和所述元数据特征输入至预先经过训练的参数预测模型，得到所述参数预测模型输出的目标运行参数；调度模块，用于调用所述目标运行参数所表示的运行资源执行所述待执...

【专利技术属性】
技术研发人员：张子轩，王程浩，张如聪，
申请(专利权)人：杭州数理大数据技术有限公司，
类型：发明
国别省市：